論文の概要: VH-GPO: Verified Handoff for LLM Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2610.14000v1
- Date: Sun, 27 Sep 2026 05:25:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.458199
- Title: VH-GPO: Verified Handoff for LLM Agent Reinforcement Learning
- Title（参考訳）: VH-GPO:LLMエージェント強化学習のための検証ハンドオフ
- Abstract要約: グループポリシー最適化のための検証ハンドオフにおいて,結果検証された教師学生ハンドオフを提案する。
VH-GPOは、境界付き検索予算内で発見された最初期の独立に確認されたハンドオフポイントを選択する。
Qwen2.5-1.5Bでは、VH-GPOはGRPOよりも59.38%、ALFWorldは94.79%、WebShopは71.62%から77.34%に伸びている。
- 参考スコア（独自算出の注目度）: 7.8516523428960205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Group-relative reinforcement learning methods such as GRPO train large language model (LLM) agents by comparing rollouts for the same task. When every trajectory in a group fails with the same reward, relative advantages collapse toward zero, leaving no useful learning signal. A frozen teacher can recover from a student-visited state, but letting it complete the task makes the recovered suffix entirely teacher-generated. We ask: after repairing a student failure, when should control return to the student? We propose outcome-verified teacher-student handoff, instantiated in Verified Handoff for Group Policy Optimization (VH-GPO). The teacher provides enough support to reach a state from which the student can succeed, then returns control so that successful experience is again student-generated. Given an environment-verified teacher recovery, VH-GPO selects the earliest independently confirmed handoff point found within a bounded search budget. With Qwen2.5-1.5B, VH-GPO increases success rates over GRPO from 59.38% to 94.79% on ALFWorld and from 71.62% to 77.34% on WebShop. Improvements also hold with the 7B student, for which additional teacher and student output tokens amount to 1.77% and 2.61% of regular student rollout output tokens on ALFWorld and WebShop, respectively. Ablation studies demonstrate the effectiveness of the key components. These results support using verified teacher assistance to repair failures while reinforcing the student's ability to complete tasks independently.
- Abstract（参考訳）: GRPOのようなグループ関連強化学習手法は、同一タスクのロールアウトを比較して、大規模言語モデル(LLM)エージェントを訓練する。
群内のすべての軌道が同じ報酬で失敗すると、相対的な優位性はゼロに向かって崩壊し、有用な学習信号は残らない。
凍結した教師は、学生が訪れた状態から回復することができるが、それを完了させることで、回復した接尾辞は完全に教師が生成する。
学生の失敗を修復した後、いつ学生に戻すべきか?
グループポリシー最適化のための検証ハンドオフ(VH-GPO)において,結果検証された教師学生ハンドオフを提案する。
教師は、学生が成功する状態に達するのに十分な支援を提供し、その後、成功体験が再び学生生成されるように制御を返す。
VH-GPOは,教師の環境を検証した教師の回復を前提として,有界検索予算内での早期に確認された引渡し点を選択する。
Qwen2.5-1.5Bでは、VH-GPOはGRPOよりも59.38%、ALFWorldは94.79%、WebShopは71.62%から77.34%に伸びている。
7Bの学生にも改善があり、ALFWorldとWebShopでは教師と学生の出力トークンがそれぞれ1.77%と2.61%に増加した。
アブレーション研究は、鍵となる構成要素の有効性を示す。
これらの結果は,生徒が個別にタスクを遂行する能力を高めつつ,失敗を修復する上で,教師の助けを借りることを支援する。
関連論文リスト
- Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models [4.85243141676332]
2つの一般的な戦略は、教師付き微調整(SFT)とオンライン蒸留(OPD)である。
OPDは、学生自身が生成した軌跡に対する教師のフィードバックを提供する。
OPDは、学生が生成した軌跡を監督することでよりデータ効率が向上するが、各州における教師の監督が生徒の学習行動にどのような影響を及ぼすかは明らかでない。
論文 参考訳（メタデータ） (2026-10-14T22:04:32Z) - Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。
理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。
BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
論文 参考訳（メタデータ） (2026-10-13T14:26:41Z) - Improving OCR Faithfulness via Gated and Attenuated On-Policy Distillation [16.017724257286854]
GAD-RLは、学生の現在のタスクパフォーマンスと地域分布に応じて、共同研修中の教師の監督を適応的に調整する。
Qwen3.5-2Bでは、GAD-RL 59.92%のマイクロリコールがGRPOとGRPO+OPD(固定重量)をそれぞれ8.45および4.43ポイント上回っている。
論文 参考訳（メタデータ） (2026-09-29T16:15:21Z) - Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL [12.812464850926915]
ギャップ適応教師スケジューリング(Gap-Adaptive Teacher Scheduling, GATS)は、生徒のRL目標を重みが教師と学生のパフォーマンスギャップに適応するPD項で拡張する。
GATSは3つの構成で比較した手法の平均成功率が最も高い。
論文 参考訳（メタデータ） (2026-09-29T16:00:21Z) - Graph-Conditioned On-Policy Agent Distillation from Off-the-Shelf Teachers [36.72804395570285]
オンライン蒸留(OPD)は、生徒が生み出す軌跡に対する教師のフィードバックで、コンパクトな言語エージェントを訓練する。
教師の採点状況と実行証拠を充実させるGC-OPD(Graph-Conditioned On-Policy Agent Distillation)を導入する。
GC-OPDは、現在の参照や過去の代替品を取得し、学生の視線と組み合わせて、オリジナルの思考アクショントークンをスコアする。
論文 参考訳（メタデータ） (2026-09-29T13:12:44Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。