論文の概要: Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models
- arxiv url: http://arxiv.org/abs/2608.04349v1
- Date: Wed, 05 Aug 2026 01:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.6866
- Title: Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models
- Title（参考訳）: Poly-OPD: 容量選択フローモデルのための不均一なマルチテラーオンポリシィ蒸留
- Authors: Siming Fu, Haojun Xu, Ruizhe He, Zheming Fu, Hualiang Wang, Jie Huang, Xiaoxiao Ma, Mingchen Zhong, Weihu Huang, Xiaoxuan He, Linjiang Huang, Si Liu,
- Abstract要約: Poly-OPDは、異種教師の相補的な強みを1つのコンパクトなフローマッチング学生に集約するフレームワークである。
各生徒生成画像は、選択した教師のエンコーダによって再符号化され、教師の騒音スケジュールに基づいて、等級に応じて精製される。
- 参考スコア（独自算出の注目度）: 25.503555874738623
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Leading open text-to-image models often carry complementary strengths: one may lead on preference-aligned aesthetics while another follows compositional instructions more faithfully. However, differences in their autoencoders and noise schedules make it difficult to transfer these strengths across models. In this paper, we present Poly-OPD, a framework that can consolidate complementary strengths of heterogeneous teachers into a single compact flow-matching student. To bridge the incompatible latent spaces of different teachers, Poly-OPD performs on-policy distillation through a pixel bridge. Each student-generated image is re-encoded by a selected teacher's encoder and refined from a noise level matched by magnitude under the teacher's noise schedule. The resulting target is further matched to the student in frozen DINOv2 space, enabling supervision across incompatible latent spaces. To retain complementary capabilities without cross-teacher interference, Poly-OPD uses a gradient compatibility diagnostic to organize its adapters: attention LoRA modules are shared across teachers, whereas feed-forward adapters remain teacher-specific. During distillation, a gap-aware curriculum devotes more training to compositional categories where the student still falls short of the teacher. As each gap narrows, training shifts toward categories with larger remaining gaps. By distilling FLUX.1-dev and Z-Image into a 2.5B SD3.5-Medium student, Poly-OPD improves GenEval from 67.3 to 73.3, surpassing both larger teachers, and raises DrawBench HPSv3 from 9.34 to 11.35, consolidating both strengths within a switchable model.
- Abstract（参考訳）: オープンテキスト・ツー・イメージのモデルは、しばしば相補的な強みをもたらす: 1つは、好みに整合した美学を導き、もう1つは、より忠実に構成的な指示に従う。
しかし、オートエンコーダとノイズスケジュールの違いにより、これらの強度をモデル間で伝達することは困難である。
本稿では,異種教員の相補的強みを1つのコンパクトなフローマッチング学習者に集約する枠組みであるPoly-OPDを提案する。
異なる教師の互換性のない潜伏空間をブリッジするために、Poly-OPDは画素ブリッジを通して政治上の蒸留を行う。
各生徒生成画像は、選択した教師のエンコーダによって再符号化され、教師の騒音スケジュールに基づいて、等級に応じて精製される。
結果として得られるターゲットは、凍結したDINOv2空間の学生とさらに一致し、非互換な潜在空間の監督を可能にする。
教師間の干渉なしに補完機能を維持するため、Poly-OPDはアダプタを整理するために勾配整合性診断(英語版)を使用している:注意 LoRAモジュールは教師間で共有されるが、フィードフォワードアダプタは教師固有のままである。
蒸留の間、ギャップ対応のカリキュラムは、学生がまだ教師に劣っている構成カテゴリーにより多くの訓練を捧げる。
各ギャップが狭まるにつれて、トレーニングはより大きなギャップを持つカテゴリへとシフトする。
FLUX.1-devとZ-Imageを2.5B SD3.5-Mediumの学生に蒸留することで、Poly-OPDはGenEvalを67.3から73.3に改善し、両方の大きな教師を上回り、DrawBench HPSv3を9.34から11.35に引き上げ、両強度を交換可能なモデルに集約する。
関連論文リスト
- STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models [14.682283642975271]
本稿では,教師を超えて学習対象を拡大する画像生成のためのオンライン蒸留フレームワークSTEP-OPDを提案する。
教師を最終目標として扱う代わりに、各タスク固有の教師と共有ベースモデルの速度差を更なる学習の方向として利用する。
さらに、学生と教師の表現変化の方向と大きさを調整し、学生がどのように表現が徐々に変換されるかを学習できるようにする。
論文 参考訳（メタデータ） (2026-08-05T14:11:27Z) - Any-OPD: Heterogeneous On-Policy Distillation for Flow-Matching Models via Representation-Space Bridging [13.653084100002737]
教師が生徒自身が生成するサンプルを補正するオンライン蒸留は、2つのモデルが同じ言語を話すことを前提にしている。
我々は、Any-OPDについて、任意対の潜流整合発生器間のオンライン蒸留のための最初のフレームワークについて述べる。
論文 参考訳（メタデータ） (2026-08-04T08:23:57Z) - Weak-to-Strong On-Policy Distillation [21.651421588571296]
Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。
4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
論文 参考訳（メタデータ） (2026-07-28T20:31:48Z) - OPOD: On-Policy Omni Distillation [55.440058537827134]
プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。
本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。
OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
論文 参考訳（メタデータ） (2026-07-23T04:55:04Z) - Cross-Space Distillation: Teaching One-Step Students with Modern Diffusion Teachers [47.916191066149224]
Bridgeは、学生のラテントを学生のバックボーンを変更することなく教師空間にマッピングする軽量のラテントインターフェースである。
SD 1.5 を 5.4 から 9.4 HPSv3 に改善し、ワンステップ推論、低レイテンシ、エコシステムとの互換性を保っている。
論文 参考訳（メタデータ） (2026-06-30T17:51:26Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Fuse Before Transfer: Knowledge Fusion for Heterogeneous Distillation [52.0297393822012]
異質な教師と学生間の機能的知識の伝達を容易にするために,橋梁としてアシスタントモデルを導入する。
提案した設計原理の中では, クロスアーキテクチャ帰納バイアスとモジュール関数の利点を組み合わせたアシスタントモデルが提案されている。
提案手法は, CNN, ViT, 空間KDの同種モデルペアと任意の異種組み合わせを用いて評価する。
論文 参考訳（メタデータ） (2024-10-16T08:02:49Z) - Dual-Teacher Ensemble Models with Double-Copy-Paste for 3D Semi-Supervised Medical Image Segmentation [31.460549289419923]
半教師付き学習(SSL)技術は、3次元医用画像セグメンテーションの高ラベリングコストに対処する。
本稿では,サンプルの特性に基づいて異なるアンサンブル法を選択するSSE(Staged Selective Ensemble)モジュールを提案する。
3次元医用画像分割作業における提案手法の有効性を実験的に検証した。
論文 参考訳（メタデータ） (2024-10-15T11:23:15Z) - Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。
本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。
OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
論文 参考訳（メタデータ） (2024-09-19T07:05:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。