論文の概要: A Better Critic Matters for Distribution Matching Distillation
- arxiv url: http://arxiv.org/abs/2610.42135v1
- Date: Fri, 30 Oct 2026 17:58:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.866137
- Title: A Better Critic Matters for Distribution Matching Distillation
- Title（参考訳）: 分散マッチング蒸留におけるより良い批判事項
- Abstract要約: 分散マッチング蒸留(DMD)は、教師の得点とオンライン評論家の学生の得点の推定値との差を利用して、数ステップの学生を訓練する。
我々は、批評家が信頼できる訓練信号を提供するために、能力と情報において何を必要としているかを調査する。
- 参考スコア（独自算出の注目度）: 42.0794155776286
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distribution Matching Distillation (DMD) trains a few-step student using the difference between a teacher's score and an online critic's estimate of the student distribution's score. We investigate what the critic needs, in capacity and in information, to provide a reliable training signal. On the capacity side, controlled experiments across seven SiT model sizes on ImageNet show that increasing teacher size while keeping a small critic fixed can degrade student quality and cause training collapse. Scaling the critic alongside the teacher, a strategy we call joint scaling, prevents collapse in our experiments and allows the student to benefit from larger teachers. On the information side, rather than forcing the critic to model a step-agnostic mixture of student outputs, we introduce a step-aware critic (STAC) that conditions on the student's generation step to estimate step-specific scores. Together, joint scaling and STAC consistently improve few-step distillation across class-conditional ImageNet generation, text-to-image generation with SDXL and FLUX.2, and text-to-video generation with Wan2.1.
- Abstract（参考訳）: 分散マッチング蒸留(DMD)は、教師の得点とオンライン評論家の学生の得点の推定値との差を利用して、数ステップの学生を訓練する。
我々は、批評家が信頼できる訓練信号を提供するために、能力と情報において何を必要としているかを調査する。
容量面では、ImageNet上の7つのSiTモデルサイズの制御実験により、小さな批判者を維持しながら教師のサイズを拡大することで、学生の質を低下させ、トレーニングの崩壊を引き起こすことが示されている。
教師と一緒に批判をスケールすることは、私たちが共同スケーリングと呼ぶ戦略であり、実験の崩壊を防ぎ、学生がより大きな教師の恩恵を受けることを可能にする。
情報面では、学生のアウトプットのステップ非依存の混合を批判者にモデル化させるのではなく、ステップ固有のスコアを推定するためのステップ対応批評家(STAC)を導入する。
共同スケーリングとSTACは、クラス条件の画像ネット生成、SDXLとFLUX.2によるテキスト・ツー・イメージ生成、Wan2.1によるテキスト・ツー・ビデオ生成を一貫して改善している。
関連論文リスト
- Coupled Calibration and Learning: Mitigating Teacher Bias in LLM Distillation without Target-Domain Reward Feedback [24.756084698191568]
大きな言語モデル(LLM)蒸留は、強力な教師の能力をより小さな学生に伝達することを目的としている。
しかし、直接の模倣は教師の体系的な偏見や誤りを伝達することもある。
本稿では,教師の校正と生徒の更新を結びつけるアルゴリズムであるCoupled and Learning (CCL)を提案する。
論文 参考訳（メタデータ） (2026-09-15T17:15:40Z) - Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。
Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。
ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
論文 参考訳（メタデータ） (2026-08-13T15:51:31Z) - Teaching-Assistant-in-the-Loop: Improving Knowledge Distillation from Imperfect Teacher Models in Low-Budget Scenarios [3.818273633647809]
3種類の信号型を利用した3成分フレームワークを提案する。
最初の信号は学生の自己整合性(学生の複数の出力の整合性)であり、学生の自信の代用となる。
提案した2段階フレームワークは,データセット間の信号を持たない微調整と比較して,20.79%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2024-06-08T02:17:43Z) - Faithful Knowledge Distillation [75.59907631395849]
i) 教師と学生は、正しく分類されたデータセットのサンプルに近い点で意見が一致しないか、(ii) 蒸留した学生は、データセットのサンプルに関する教師と同じくらい自信があるか、という2つの重要な質問に焦点をあてる。
これらは、安全クリティカルな設定の中で、堅牢な教師から訓練された小さな学生ネットワークを配置することを考えると、重要な問題である。
論文 参考訳（メタデータ） (2023-06-07T13:41:55Z) - Learning to Teach with Student Feedback [67.41261090761834]
対話的知識蒸留 (Interactive Knowledge Distillation, IKD) は、教師が生徒のフィードバックから教えることを学ぶことを可能にする。
IKDは教師モデルを訓練し、特定の学生のトレーニングステップごとに特定のソフトターゲットを生成する。
教師と生徒の協調的な最適化は2つの反復的なステップによって達成される。
論文 参考訳（メタデータ） (2021-09-10T03:01:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。