論文の概要: Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL

• arxiv url: http://arxiv.org/abs/2609.37898v1
• Date: Tue, 29 Sep 2026 16:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.719094
• Title: Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
• Title（参考訳）: Guide, Then Let Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL
• Abstract要約: ギャップ適応教師スケジューリング(Gap-Adaptive Teacher Scheduling, GATS)は、生徒のRL目標を重みが教師と学生のパフォーマンスギャップに適応するPD項で拡張する。 GATSは3つの構成で比較した手法の平均成功率が最も高い。
• 参考スコア（独自算出の注目度）: 12.812464850926915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning for long-horizon agents typically relies on sparse outcome-based rewards. This leads to a severe cold-start problem, as early-stage policies often fail to solve sampled tasks, leaving little useful reward signal for learning. To mitigate this problem, we use on-policy distillation (OPD) to provide token-level guidance on the student's own rollouts. We find that the benefit of this guidance depends on the performance gap between the teacher and the student. When the teacher substantially outperforms the student, distillation helps guide the student through the early training stage where outcome rewards provide little learning signal. As the gap narrows and eventually reverses, however, continued distillation becomes less beneficial and may hinder further improvement. Motivated by this observation, we propose Gap-Adaptive Teacher Scheduling (GATS), which augments the student's RL objective with an OPD term whose weight adapts to the teacher-student performance gap. Specifically, GATS gradually reduces teacher guidance as the student approaches the teacher's reference performance and withdraws it once that reference is reached. This enables GATS to leverage task-trained teachers smaller than the student, since teacher guidance is primarily needed during early training. Across ALFWorld, WebShop, and ScienceWorld with three Qwen2.5 teacher-student configurations, GATS achieves the highest average success rate among the compared methods in all three configurations, improving over reward-only GRPO by 4.37%-11.87% under matched student rollout budgets. Code is available at https://github.com/Ricardo-H/guide-then-let-go.
• Abstract（参考訳）: ロングホライゾンエージェントの強化学習は、通常、スパース結果に基づく報酬に依存している。 アーリーステージのポリシーは、しばしばサンプリングされたタスクを解決できず、学習に有用な報酬信号がほとんど残っていないため、これは深刻なコールドスタート問題を引き起こします。 この問題を軽減するために,我々は,学生自身のロールアウトに関するトークンレベルのガイダンスを提供するために,オンライン蒸留(OPD)を使用している。 この指導の利点は,教師と生徒のパフォーマンス格差に依存することがわかった。 教師が生徒の成績を大幅に上回ると、蒸留は、成果報酬が学習シグナルをほとんど与えない早期訓練段階を通して学生を導くのに役立ちます。 しかし、ギャップが狭くなり、最終的に逆転するにつれて、蒸留の継続は益を減らし、さらなる改善を妨げる可能性がある。 本研究の目的は,教師と学生のパフォーマンスギャップに重みが適応するOPD項を用いて,生徒のRL目標を増大させるGap-Adaptive Teacher Scheduling (GATS)を提案することである。 具体的には、GATSは、生徒が教師の参照パフォーマンスに近づくにつれて、徐々に教師の指導を減らし、参照が到達したらそれを撤回する。 これにより、GATSは、初等教育において主に教師指導が必要であるため、学生より小さい課題訓練を受けた教師を活用できる。 ALFWorld、WebShop、ScienceWorldの3つのQwen2.5教師学生構成において、GATSは3つの構成で比較したメソッドの平均成功率が最も高く、マッチした学生のロールアウト予算下では、報酬のみのGRPOよりも4.37%-11.87%向上している。 コードはhttps://github.com/Ricardo-H/guide-then-let-goで公開されている。

関連論文リスト

• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation [18.893534946567218]
  オンライン蒸留(On-policy distillation、OPD)は、学生が訪れた州を教師が監督する制度である。 本稿では,教師の短い橋渡しを行うFutureBridge-OPD(FTB)を提案する。 Qwen3-32Bの主教師がQwen3-1.7Bの学生設定で、FTBはバニラOPDとTCODを平均16.6点、7.6点で上回っている。
  論文  参考訳（メタデータ） (2026-08-03T09:25:42Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。