論文の概要: Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.34848v1
• Date: Mon, 28 Sep 2026 10:43:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:14:23.580233
• Title: Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation
• Title（参考訳）: 教師を信頼できるか? : 自己蒸留のための信用方向行列の分離
• Abstract要約: 我々は、理論的には信用方向と大きさを2つの信頼できる信号に分解する、textitDecoupled Credit Self-Distillation (DCSD)を導入する。 11のベンチマークで、DCSDはGRPO、OPSD、RSSD、RCCSDに対して最高のスコアを得る。
• 参考スコア（独自算出の注目度）: 14.630044097746152
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: RLVR provides reliable trajectory-level credit, while OPSD offers dense supervision for token-level credit. This exposes a fundamental coupling when updating step-level credit direction and magnitude with teacher supervision, preventing steps from receiving reliable credit directions and contribution magnitudes, while making both vulnerable to teacher judgment errors and preference variance, as supported by our theoretical analysis. To separate credit direction from its contribution magnitude, we introduce \textit{Decoupled Credit Self-Distillation (DCSD)}, which theoretically decouples credit direction and magnitude into two reliable signals and uses them to calibrate privileged teacher supervision. Specifically, we design belief-margin probing to determine credit direction and marginal information gain to quantify credit magnitude, enabling step-to-token credit assignment for policy optimization. Across 11 benchmarks, DCSD achieves the best overall scores against GRPO, OPSD, RLSD, and RLCSD. Compared with base models, DCSD improves the overall score by 8.45 points on mathematical reasoning and 7.01 points on multimodal reasoning, while correcting the credit direction for 6\% of tokens and yielding a 1.5$\times$ reduction in token credit magnitude.
• Abstract（参考訳）: RLVRは信頼性の高いトラジェクトリレベルのクレジットを提供するが、OPSDはトークンレベルのクレジットを厳格に管理する。 これにより、段階的な信用方向と規模を教師の監督と更新する際の基本的結合が明らかとなり、教師の判断誤りや嗜好のばらつきに脆弱化しつつ、信頼性の高い信用方向と貢献度が得られないようにする。 本稿では,その貢献度からクレジットの方向性を分離するために,理論上は信用の方向性と大きさを2つの信頼できる信号に分解し,特権教師の監督を校正する「textit{Decoupled Credit Self-Distillation (DCSD)」を導入する。 具体的には、信用方向と限界情報ゲインを判断して信用度を定量化し、政策最適化のための段階的な信用割当を可能にする信念マージンを設計する。 11のベンチマークで、DCSDはGRPO、OPSD、RSSD、RCCSDに対して最高のスコアを得る。 基本モデルと比較して、DCSDは、数学的推論のスコアを8.45ポイント、マルチモーダル推論の7.01ポイント改善し、トークンの6\%のクレジット方向を補正し、トークンクレジットの規模を1.5$\times$還元する。

関連論文リスト

• PACT: From Credit Assignment to Critic Alignment [35.4873739114819]
  強化学習は、大規模言語モデル(LLM)の訓練後の中心的な構成要素となっているが、トークンレベルの信用は一般的に受け入れられた数学的定義を欠いている。 完全性、固定整合性、中立性の3つの規則性条件を定式化し、トークンレベルの信用を独自に決定することを証明する。 この特徴付けは、既存のアルゴリズムにまたがる現象を説明する統一的な基盤を提供し、改良されたアクター・クリティカル・トレーニング手順の開発を導く。
  論文  参考訳（メタデータ） (2026-09-22T12:58:28Z)
• Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
  検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。 オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。 我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
  論文  参考訳（メタデータ） (2026-08-13T12:44:37Z)
• How Much, Then Where: Credit-Conserving Action-to-Token Allocation for Multi-Turn Agent Reinforcement Learning [10.15294517210249]
  FACTORを導入し、行動に軌跡レベルのクレジットを割り当て、各アクションのクレジットをトークンに分散させる決定を分離する。 FACTORは、ALFWorld、WebShop、ScienceWorld間の競争ベースラインよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-08-07T11:22:09Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• TCPO: Turn-Level Credit Policy Optimization [3.5758528239482477]
  検証器誘導型マルチターンRLのターンレベルクレジット代入法であるTCPOを提案する。 TCPOは、クレジット割り当てをスコア・ツー・クレディット変換とし、基準ベースの比較を通じてターンレベルの利点を構築する。 数学推論、コード生成、AppWorldエージェントタスクの実験は、TCPOがモデルスケール、タスクドメイン、検証対象タイプで最強のベースラインを改善したり、適合させたりしていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T04:01:36Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• When Implausible Tokens Get Reinforced: Tail-Aware Credit Calibration for LLM Reinforcement Learning [32.70365827239751]
  Tail-Aware Credit calibratiOn (TACO) は、望ましくないポジティブな更新を抑えるために、均一なクレジット割り当てを校正する手法である。 3つのLSMと8つのベンチマークの結果、TACOはGRPOスタイルのベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-07-08T23:00:54Z)
• Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
  我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。 数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
  論文  参考訳（メタデータ） (2026-06-17T08:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。