論文の概要: From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation

• arxiv url: http://arxiv.org/abs/2605.11613v1
• Date: Tue, 12 May 2026 06:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.638465
• Title: From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation
• Title（参考訳）: オンライン自己蒸留における遺伝子相関から入力特異的信用へ
• Authors: Guobin Shen, Lei Huang, Xiang Cheng, Chenxiao Zhao, Jindong Li, Dongcheng Zhao, Xing Yu,
• Abstract要約: オンラインの自己蒸留は、訓練後の言語モデルにとって有望なパラダイムとして現れている。 本稿では, 自己蒸留トークンの報酬が, 入力されたフィードバックと応答の正確な相互情報であるベイズフィルタインクリメントであることを示す。 本稿では、バッチコントラストベースラインで入力固有のコンポーネントを分離するCREDITを提案する。
• 参考スコア（独自算出の注目度）: 22.436966302243565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation has emerged as a promising paradigm for post-training language models, in which the model conditions on environment feedback to serve as its own teacher, providing dense token-level rewards without external teacher models or step-level annotations. Despite its empirical success, what this reward actually measures and what kind of credit it assigns remain unclear. Under a posterior-compatibility interpretation of feedback conditioning, standard in the implicit-reward literature, we show that the self-distillation token reward is a Bayesian filtering increment whose trajectory sum is exactly the pointwise mutual information between the response and the feedback given the input. This pMI can be raised by input-specific reasoning or by input-generic shortcuts, so we further decompose the teacher log-probability along the input axis. Based on this analysis, we propose CREDIT (Contrastive REward from DIsTillation), which isolates the input-specific component with a batch-contrastive baseline. At the sequence level, CREDIT is a teacher-side surrogate for a contrastive pMI objective that also penalizes responses remaining likely under unrelated inputs. Across coding, scientific reasoning, and tool-use benchmarks on two model families, CREDIT delivers the strongest aggregate performance at negligible additional compute.
• Abstract（参考訳）: オンラインの自己蒸留は、学習後の言語モデルにとって有望なパラダイムとして現れており、環境フィードバックのモデル条件は、外部の教師モデルやステップレベルのアノテーションを使わずに、より密集したトークンレベルの報酬を提供する。 実証的な成功にもかかわらず、この報酬が実際に何を測り、どんなクレジットを割り当てるかは、まだ不明だ。 暗黙の逆の文献では、フィードバック条件付けの後方互換性の解釈の下で、自己蒸留トークン報酬がベイズフィルタのインクリメントであり、そのトラジェクティブ和は、入力されたフィードバックと応答の正確な相互情報であることを示す。 このpMIは、入力固有の推論や入力ジェネリックショートカットによって引き上げることができるので、さらに入力軸に沿って教師の対数確率を分解する。 この分析に基づいて、バッチコントラストベースラインで入力固有のコンポーネントを分離するCREDIT(Contrastive Reward from DIsTillation)を提案する。 シークエンスレベルでは、CREDITは対照的なpMI目的のための教師側サロゲートであり、無関係な入力の下にある可能性のある応答をペナルティ化する。 CREDITは、コーディング、科学的推論、および2つのモデルファミリのツール使用ベンチマーク全体にわたって、無視できる追加計算において最も強力な集計パフォーマンスを提供する。

関連論文リスト

• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards [39.489554597919145]
  グループ相対ポリシー最適化(GRPO)は、完了時にすべてのトークンに対して単一のスカラーの利点を割り当てる。 明確なセグメントと目的を持つ構造化世代では、このカップルはセグメント間で無関係な報酬信号を生成し、客観的な干渉と不正な信用につながる。 我々は、GRPO互換メソッドのファミリーであるBlockwise Advantage Estimationを提案し、それぞれの目的をそれぞれ独自の利点を割り当て、対応するテキストブロックのトークンにのみ適用する。
  論文  参考訳（メタデータ） (2026-02-10T19:22:37Z)
• Owen-Shapley Policy Optimization (OSPO): A Principled RL Algorithm for Generative Search LLMs [12.75200353208858]
  Owen-Shapley Policy Optimization (OSPO)は、トークンの成果に対する限界貢献に基づいて、シーケンスレベルの利点を再分配するフレームワークである。 付加的な計算を必要とする値モデルベースの方法とは異なり、OSPOはセグメントレベルのクレジットを割り当てるためにShapley-Owen属性を介して潜在的ベースの報酬シェーピングを採用する。 Amazon ESCIとH&M Fashionデータセットの実験は、ベースラインよりも一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-13T10:17:46Z)
• QA-LIGN: Aligning LLMs through Constitutionally Decomposed QA [46.65999744568314]
  本稿では,モノリシック報酬を解釈可能な原理固有評価に分解するQA-LIGNを紹介する。 ランマ-3.1-8B-インストラクションの適用により、QA-LIGNは攻撃成功率を最大68.7%まで下げる一方で、偽拒絶率0.67%を維持している。
  論文  参考訳（メタデータ） (2025-06-09T18:24:57Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• RED: Unleashing Token-Level Rewards from Holistic Feedback via Reward Redistribution [50.171320156632866]
  人間のフィードバックからの強化学習は、大きな言語モデルを人間の好みに合わせるための有望なアプローチを提供する。 現在の報酬モデルはシークエンス・ツー・ワンモデルとして動作し、単一、スパース、遅延報酬を全出力シーケンスに割り当てる。 よりきめ細かなトークンレベルの指導手法をRLトレーニングに提案する。
  論文  参考訳（メタデータ） (2024-11-13T02:45:21Z)
• Covariate Assisted Entity Ranking with Sparse Intrinsic Scores [3.2839905453386162]
  我々は,新しいモデル同定条件を導入し,正規化された最大推定値の統計率について検討する。 また,本手法を潜在固有スコアを持たないモデルに対する適合性テストに適用する。
  論文  参考訳（メタデータ） (2024-07-09T19:58:54Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• MUTANT: A Training Paradigm for Out-of-Distribution Generalization in Visual Question Answering [58.30291671877342]
  MUTANTは、モデルが知覚的に類似しているが意味的に異なる入力の変異に露出する訓練パラダイムである。 MUTANTは、VQA-CPに新しい最先端の精度を確立し、10.57%$改善した。
  論文  参考訳（メタデータ） (2020-09-18T00:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。