論文の概要: On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity

• arxiv url: http://arxiv.org/abs/2606.26091v1
• Date: Wed, 24 Jun 2026 17:59:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.424203
• Title: On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity
• Title（参考訳）: サンプルデモンストレーションによるオンライン自己蒸留は出力の多様性を低下させる
• Abstract要約: On-policy self-distillationは,教師と学生の両方に単一モデルを使用することで,強力なパス@1精度を実現する。 ロールアウトの多様性が低下し、pass@k曲線がフラットになるのです。
• 参考スコア（独自算出の注目度）: 5.35852583397955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation achieves strong pass@1 accuracy by using a single model as both teacher and student, with the teacher conditioned on a correct demonstration to provide dense token-level feedback. We show that this could come at a hidden cost: rollout diversity decreases and pass@k curves flatten (i.e., generating more rollouts fails to improve accuracy). We trace this to compounding biases in the design of self-distillation with sampled demonstrations. The teacher scores each student rollout while conditioned on a sampled correct rollout, channeling its feedback through the model's own biases. We theoretically analyze the optimal self-distillation policy and show that it tilts the base distribution by a pointwise conditional mutual information score between the student's rollout and the correct rollout used as context. Unlike the ideal optimal on-policy reinforcement learning (RL), which preserves probability ratios among equally correct rollouts, self-distillation can amplify existing probability gaps, concentrating mass on already-dominant modes. On a controlled graph path-finding task and science question-answering benchmarks, self-distilled models match or exceed RL on average performance but exhibit substantially lower functional and semantic diversity, failing on out-of-distribution settings that require diverse strategies.
• Abstract（参考訳）: 教師は高密度トークンレベルのフィードバックを提供するために,教師と生徒の両方に1つのモデルを用いて,強力なパス@1精度を実現する。 ロールアウトの多様性は減少し、pass@k曲線は平坦になる(つまり、より多くのロールアウトを生成することは精度を向上させるのに失敗する)。 本研究は, 自己蒸留設計における偏りと, サンプル実験の複合化に追従するものである。 教師は、サンプル化された正しいロールアウトで条件付きで各生徒のロールアウトをスコアし、モデル自身のバイアスを通じてフィードバックを流す。 理論的には,最適自己蒸留政策を解析し,学生のロールアウトとコンテキストとして使用する正しいロールアウトとの間の条件付き相互情報スコアによって,ベース分布を傾けることを示す。 適切なロールアウトの確率比を保存する理想的なオンライン強化学習(RL)とは異なり、自己蒸留は既存の確率ギャップを増幅し、既に支配されているモードに質量を集中させることができる。 制御されたグラフパスフィニングタスクと科学質問応答ベンチマークでは、自己蒸留されたモデルは平均的な性能でRLと一致するか、あるいは超えるが、機能的および意味的な多様性は著しく低く、多様な戦略を必要とするアウト・オブ・ディストリビューション・セッティングでは失敗する。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• Contrastive On-Policy Distillation [36.47487086937924]
  対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
  論文  参考訳（メタデータ） (2026-07-21T12:35:04Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Multi-Rollout On-Policy Distillation via Peer Successes and Failures [31.731266689209914]
  大規模な言語モデルは、しばしばスパース検証器の報酬で訓練後、サンプルの軌道が成功するかどうかを示すが、推論が成功するか失敗するかについての限られたガイダンスを提供する。 オンライン蒸留(OPD)は、学生が生み出す軌跡の訓練により、より密集したトークンレベルの監督を提供する。 我々は,学生のローカルロールアウトグループを用いて,より情報のある教師信号を構築する,ピアコンディショニング蒸留フレームワークであるMulti-Rollout On-Policy Distillation (MOPD)を紹介した。
  論文  参考訳（メタデータ） (2026-05-12T18:57:44Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)
• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。