論文の概要: TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL

• arxiv url: http://arxiv.org/abs/2609.35058v1
• Date: Mon, 28 Sep 2026 12:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:23:45.535151
• Title: TIDE: Teacher-Student Transition via Informative Distillation and Exploration for Agentic RL
• Title（参考訳）: TIDE: エージェントRLのインフォーマル蒸留と探索による教師と学生の移行
• Abstract要約: マルチターンエージェントは、長い地平線上での情報収集、行動、フィードバックを調整する戦略を必要とする。 オンライン蒸留(OPD)によりRLを増強する最近の方法 潮流は教師の指導と報奨による更新を共同で調整する。
• 参考スコア（独自算出の注目度）: 2.368125721547952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Effective multi-turn agents require interaction strategies that coordinate information gathering, actions, and feedback over long horizons. GRPO is a reinforcement learning algorithm used to train these agents, but sparse trajectory-level rewards limit early exploration in small models. Recent methods augment RL with on-policy distillation (OPD) from a stronger teacher. However, a fixed mixture assumes that teacher guidance and reward optimization should retain a constant relative role throughout training and across interaction turns. This assumption can fail at two scales. Globally, as training progresses, maintaining strong distillation pressure can constrain the model from moving beyond the teacher's capabilities. Locally, teacher--student disagreement identifies where the student departs from the teacher, but cannot tell whether that departure is exploration supported by better outcomes or low-quality policy drift. Our methodological insight is that teacher guidance and reward optimization should be dynamically rebalanced over training and jointly allocated across turns. We instantiate this insight in \tide. Globally, \tide uses the measured disagreement trend as a practical schedule signal, advancing an OPD-to-RL handoff when discrepancy reduction becomes slow but remains positive and progressively increasing the relative weight of RL. Locally, \tide jointly modulates teacher-guided and reward-driven updates: relative action value and disagreement prioritize the OPD signal, whereas relative action value supplies the RL advantage and normalized disagreement reweights it across turns. Coupled with the global handoff, \tide allocates stronger teacher guidance early and gives reward-driven updates greater relative weight later in training. Experiments across multiple benchmarks, student scales, and controlled ablations support the effectiveness of TIDE's adaptive OPD--RL coordination.
• Abstract（参考訳）: 効果的なマルチターンエージェントは、情報収集、アクション、フィードバックを長い地平線上で協調する相互作用戦略を必要とする。 GRPOはこれらのエージェントを訓練するために使用される強化学習アルゴリズムであるが、低軌道レベルの報酬は小さなモデルでの早期探索を制限する。 オンライン蒸留(OPD)によりRLを増強する最近の方法 しかし、教師の指導と報酬の最適化は、訓練と相互作用のターンの間、一定の相対的な役割を保たなければならないと仮定する。 この仮定は2つのスケールで失敗する可能性がある。 訓練が進むにつれて、強い蒸留圧力を維持することで、教師の能力を超えたモデルの動きを抑えることができる。 地元では、教師の意見の不一致は、学生が教師から出発した場所を特定するが、その出発がより良い結果や低品質政策の漂流に支えられているかどうかを判断できない。 我々の方法論的洞察は、教師の指導と報酬の最適化は、訓練よりも動的に再バランスし、ターン毎に共同で割り当てるべきである。 私たちはこの洞察を \tide でインスタンス化します。 グローバル的には、測定された不一致傾向を実用的なスケジュール信号として使用し、差分低減が遅くなるとOPD-to-RLハンドオフを前進させるが、肯定的であり、RLの相対重を徐々に増加させる。 相対的なアクション値と不一致がOPDシグナルを優先するのに対して、相対的なアクション値がRLのアドバンテージを提供し、正規化された不一致は順番にそれを重み付けする。 グローバルなハンドオフと組み合わせて、Shatideはより強力な教師指導を早期に割り当て、トレーニング後の相対重みを報酬駆動で更新する。 複数のベンチマーク、学生スケール、制御された改善実験は、TIDEの適応的なOPD--RL調整の有効性を支持する。

関連論文リスト

• Trapped by Their Own Rollouts: Understanding Aggregation--Rollout Feedback in Federated On-Policy Distillation [21.610540680175294]
  オンライン蒸留(OPD)は言語モデル適応への有望なアプローチである。 フェデレーションOPDについて検討し、学習速度の感度によってかなりのコラボレーションの利得が明らかになることを示した。 本稿では,FedAvg更新の規模をクライアントワイド予測変更制約に適応させるため,現在のトラジェクトリに対する教師のフィードバックを再利用するFedTOPSを提案する。
  論文  参考訳（メタデータ） (2026-09-26T12:48:43Z)
• Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation [41.854144563456046]
  弱強一般化は、より弱いスーパーバイザーからより強力なモデルを学び、それらを上回ることができるかどうかを問う。 本稿では,教師の政策シフトを評価し,学生の検証者主導の政策勾配を増幅するOn-Policy Reverse Distillationを紹介する。 連続したモデル転送とマルチティーチンガー蒸留の両方において、OPRDは既存のRLや蒸留手法よりも学生更新が少なく、極めて高い性能を達成している。
  論文  参考訳（メタデータ） (2026-09-08T14:26:35Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。