論文の概要: The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.36484v1
• Date: Tue, 29 Sep 2026 01:44:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.096632
• Title: The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
• Title（参考訳）: 教師は指示ではなく指示である: オンライン蒸留におけるRL誘発表現残余の補間
• Abstract要約: 一般化された変種は、出力空間における暗黙の報酬を外挿することで、生徒が教師を追い越すことができる。 出力空間外挿に依存するサンプルトーケン対数確率比は、外挿が増幅するノイズを注入し、トレーニングを不安定にする。 RLにより引き起こされる変化を直接表現空間に外挿するRIDEを提案する。
• 参考スコア（独自算出の注目度）: 6.727688649861658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a student to match the teacher's next-token distributions on the student's own trajectories and has yielded substantial empirical gains. Generalized variants allow the student to surpass the teacher by extrapolating an implicit reward in output space. The language-model head, however, attenuates this change anisotropically: much of the change encoded in the teacher's hidden states reaches the logits at a small fraction of its weight, and the sampled-token log-probability ratios on which output-space extrapolation relies inject noise that the extrapolation amplifies, making training unstable. We observe that reinforcement learning (RL) shifts a model's internal representations relative to its base checkpoint, and that the direction of this shift can be measured at every layer. Motivated by this observation, we propose RIDE (RL-Induced Direction Extrapolation), which extrapolates the RL-induced change directly in representation space: at every layer and token position, RIDE computes the residual between the teacher and its pre-RL checkpoint and regresses the student's hidden states toward targets displaced beyond the teacher along this residual. Conditioned on a sampled trajectory, this regression is equivalent to maximizing a linear directional reward defined by the residual under a quadratic penalty centered at the teacher, which makes explicit how the objective moves the student along the RL-induced direction while limiting its deviation from the teacher. Across four base/RL-teacher pairs spanning different scales, architectures, and pre-training lineages, RIDE approaches or exceeds the RL-trained teacher on every pair and is the only method whose mean does so, and it consistently outperforms output-space extrapolation, which degrades the student whenever the teacher is close to its base. Project page: https://github.com/xixixixixxxx/RIDE.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation, OPD)は、学生に教師自身の軌道上の次のトーケン分布を一致させるよう訓練し、かなりの経験的利益を得た。 一般化された変種は、出力空間における暗黙の報酬を外挿することで、生徒が教師を追い越すことができる。 しかし、言語モデルヘッドは、この変化を異方性的に減衰させる:教師の隠れた状態に符号化された変化の多くは、その重みのごく一部でロジットに到達し、アウトプット空間外挿が増幅するノイズに依存するサンプル付き対数確率比は、トレーニングを不安定にする。 我々は,強化学習(RL)がモデルの内部表現をベースチェックポイントに対してシフトし,このシフトの方向を各層で測定できることを観察する。 本稿では,RLが引き起こす変化を直接表現空間に外挿するRIDE (RL-induced Direction Extrapolation) を提案する。RIDEは教師と前RLチェックポイントの間の残差を計算し,教師の隠れた状態をその残差に沿って移動させる。 この回帰は、教師を中心とする二次的なペナルティの下で、残差によって定義される線形方向の報酬を最大化することと等価であり、教師からの偏差を抑えつつ、RL誘導方向に沿って学生がどう動くかを明確にする。 異なるスケール、アーキテクチャ、事前学習系統にまたがる4つのベース/RL-Teacherペアの中で、RIDEはすべてのペアでRL-Teacherに近づいたり、超えたりしている。 プロジェクトページ: https://github.com/xixixixixxxx/RIDE.com

関連論文リスト

• TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL [2.368125721547952]
  マルチターンエージェントは、長い地平線上での情報収集、行動、フィードバックを調整する戦略を必要とする。 オンライン蒸留(OPD)によりRLを増強する最近の方法 潮流は教師の指導と報奨による更新を共同で調整する。
  論文  参考訳（メタデータ） (2026-09-28T12:51:48Z)
• RISE: Recursive Improvement via Self-Extrapolating Policy Distillation [47.92477203057629]
  textbfRISE (textbfRecursive textbfImprovement via textbfSelf-textbfExtrapolating Policy Distillation)を提案する。 RISEは、モデル自身のRLVRトレーニング軌道から直接合成教師を構築する。 数学的推論、マルチドメインSTEM、コード生成、マルチターンエージェントタスクにまたがる実験により、RISEはRLVRのみのトレーニングや政治上の自己蒸留よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-09-04T15:47:51Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Forward and inverse reinforcement learning sharing network weights and hyperparameters [3.705785916791345]
  ERILは、エントロピー規則化マルコフ決定プロセスの枠組みの下で、前方および逆強化学習(RL)を組み合わせる。 前部RLステップは、逆RLステップによって推定される逆KLを最小化する。 逆KL分岐の最小化は最適ポリシーの発見と等価であることを示す。
  論文  参考訳（メタデータ） (2020-08-17T13:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。