論文の概要: Inductive Feedback for Mixed-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.35390v1
• Date: Mon, 28 Sep 2026 15:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 05:58:01.753535
• Title: Inductive Feedback for Mixed-Policy Distillation
• Title（参考訳）: 混合多価蒸留における誘導型フィードバック
• Abstract要約: 言語フィードバックはエラーを特定し、修正を処方する。 オンライン蒸留は、学生が生み出したロールアウトに関する教師の予測に合致するように学生を訓練する。 このアプローチは、フィードバックのほとんどを未使用のままにしながら、フィードバックが動機のない教師の好みを伝達することができる。
• 参考スコア（独自算出の注目度）: 15.997296479947785
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Verbal feedback can identify errors and prescribe corrections, providing rich supervision for language-model post-training even when reliable programmatic verifiers are unavailable. Such feedback, often generated by a capable model, can be used to condition the teacher in on-policy distillation, which trains the student to match the teacher's predictions on student-generated rollouts. However, this approach can transfer teacher preferences that the feedback did not motivate, while leaving much of the feedback's guidance unused. We find that both problems come from the standard on-policy distillation objective, specifically the divergence it minimizes and the distribution it uses as its target. Our proposed method addresses both limitations. First, to isolate the information conveyed by the feedback from the teacher's inherent preferences, we treat verbal feedback as evidence for or against the hypothesis that a particular token comes next at a given prefix. We then adopt a probabilistic confirmation framework which uniquely determines an ordering over the vocabulary based on the teacher's predictions before and after it receives feedback. Using a confirmation score consistent with this ordering, we construct a target distribution within a trust region of the student. Second, to learn from guidance that student rollouts can leave unused, we derive a simple shared-rollout estimator of a symmetric divergence between the student and target distributions over rollouts, reusing student and feedback-conditioned teacher rollouts in both directions through importance weighting. Empirical evaluations show that our method outperforms the common on-policy distillation recipe and a recent contrastive variant on knowledge-based and agentic benchmarks.
• Abstract（参考訳）: 言語フィードバックはエラーを識別し、修正を処方し、信頼できるプログラム検証が利用できない場合でも、言語モデルポストトレーニングの豊富な監視を提供する。 このようなフィードバックは、しばしば有能なモデルによって生成され、教師が生徒が生み出すロールアウトの予測に合致するように学生に訓練する、オンライン蒸留で教師を条件付けるために用いられる。 しかし,本手法では,フィードバックのモチベーションを欠いた教師の嗜好を伝達すると同時に,フィードバックのガイダンスの多くを未使用のままにしておくことができる。 どちらの問題も、標準的なオンライン蒸留の目的、特に最小限の分散とターゲットとして使用する分布から生じている。 提案手法は両方の制限に対処する。 まず、教師固有の嗜好からフィードバックによって伝達される情報を分離するために、特定のトークンが与えられた接頭辞に次に来るという仮説の証拠として、言語フィードバックを扱います。 次に,教師の予測に基づいて,フィードバックの前後に基づいて語彙の順序を一意に決定する確率的確認フレームワークを採用する。 この順序に整合した確認スコアを用いて,学生の信頼領域内に目標分布を構築する。 第2に,学生のロールアウトを未使用のままにしておくことができる指導から,学生と学生のロールアウト上の目標分布の対称的ばらつきの簡易な共有ロールアウト推定器を導出し,学生と教師のロールアウトを重要重み付けにより両方向に再利用する。 実証評価の結果,本手法は,一般のオンライン蒸留法や,知識ベースおよびエージェントベンチマークにおける最近のコントラスト変異よりも優れていることが示された。

関連論文リスト

• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
  不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。 本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
  論文  参考訳（メタデータ） (2026-09-06T07:08:41Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• A Formula-Driven Survey and Research Agenda for On-Policy Distillation [4.397842507533513]
  本調査では,OPDを単一損失ファミリーではなく,フィードバックから更新までの問題として検討した。 我々は, 直接分布損失と政策段階の対数比更新という2つの経路から公式駆動型分類法を開発した。
  論文  参考訳（メタデータ） (2026-06-22T03:09:21Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Learning from Language Feedback via Variational Policy Distillation [47.05700353631563]
  変分ポリシー蒸留(VPD)は、言語フィードバックからの学習を変分期待最大化問題として形式化するフレームワークである。 VPDは標準のRLVRと既存の自己蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-14T17:27:34Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。