論文の概要: GraphOPD: Graph-Augmented On-Policy Distillation for LLM Agents
- arxiv url: http://arxiv.org/abs/2610.08959v1
- Date: Tue, 06 Oct 2026 18:25:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.553107
- Title: GraphOPD: Graph-Augmented On-Policy Distillation for LLM Agents
- Title（参考訳）: GraphOPD: LLM剤用グラフ強化オンポリシィ蒸留
- Abstract要約: GraphOPDは、グラフに基づく構造拡張を、エージェント能力のためのオンデマンド蒸留に導入する手法である。
どのステップが有効になったかを読み取ると、後のステップは、教師と学生のギャップを悪化させるドリフトへの免疫として、環境自身の状態変化の記録から得られる。
発散信号による構造的信用を、各ロールアウトの最高レベルステップの監督を集中させる軌道相対マスクに融合させる。
- 参考スコア（独自算出の注目度）: 23.724051158129512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation post-trains large language model agents by supplying dense, step-level guidance from a teacher policy when the reinforcement-learning reward is sparse and arrives only once per trajectory. Existing instantiations allocate this guidance by the size of the teacher-student divergence at each step, on the single-turn intuition that a large disagreement marks a mistake worth correcting. Once decisions chain over many turns, that rule misfires, since an early drift enters every later context both policies condition on, leaving the teacher consistent with the drifted trajectory instead of flagging its cause, while interchangeable steps register large but outcome-irrelevant divergences. We demonstrate this on an agentic benchmark, where distilling the highest-divergence steps brings no consistent benefit over random selection. To this end, we introduce GraphOPD, the first method to bring graph-based structural augmentation into on-policy distillation for agent capabilities. It reads which steps enabled which later ones from the environment's own record of state changes, immune to the drift that corrupts the teacher-student gap, organizes them into a dependency graph, scores each step by a random-walk stationary distribution over it, and fuses that structural credit with the divergence signal into a trajectory-relative mask concentrating supervision on each rollout's highest-aptitude steps. Across three model scales and eleven baselines on ALFWorld, WebShop, and SearchQA, GraphOPD shows competitive performance throughout, improving over the strongest baseline by up to +5.8 pp. An executed-replay audit further shows that this structural credit score tracks true causal impact far above chance, that both fused signals are independently necessary, and that the same signal transfers to out-of-domain tool-integrated reasoning.
- Abstract（参考訳）: オンライン蒸留後の大規模言語モデルエージェントは、強化学習報酬が希薄で1軌道当たり1回しか到着しない場合、教師の方針から高密度で段階的なガイダンスを提供することで、大規模言語モデルエージェントを訓練後蒸留する。
既存のインスタンス化では、各ステップにおける教師と学生の相違の大きさによって、大きな不一致が修正に値する誤りを示すという一ターン直観に基づいて、このガイダンスを割り当てている。
初期のドリフトが両方の政策条件の後の状況に入ると、教師は原因を知らせる代わりに流された軌跡と一致し、交換可能なステップは大きなが結果に関係のない分岐を登録する。
エージェントベンチマークでこれを実証し、高い発散ステップを蒸留すると、ランダム選択よりも一貫した利点が得られない。
この目的のために我々は,グラフに基づく構造拡張を,エージェント機能のためのオンライン蒸留に導入する最初の方法であるGraphOPDを紹介した。
どのステップが環境自身の状態変化の記録から有効になったかを読み、教師と学生のギャップを悪化させるドリフトに免疫し、依存グラフに整理し、ランダムウォークの静止分布で各ステップをスコアし、分岐信号による構造的信用を各ロールアウトの最高レベルステップの監督に集中させる軌道相対マスクに融合させる。
ALFWorld、WebShop、SearchQAの3つのモデルスケールと11のベースラインで、GraphOPDは競争力のあるパフォーマンスを示し、最強のベースラインを+5.8ppまで改善した。
実行された再生監査では、この構造的信用スコアが真の因果影響をはるかに上回っており、両方の融合信号が独立して必要であり、同じ信号がドメイン外のツール統合推論に転送されることが示されている。
関連論文リスト
- Outcome-Guided On-Policy Self-Distillation [56.42298431854587]
オンライン自己蒸留(OPSD)は、RLVR(Reinforcement Learning with Verifiable Rewards)よりも高密度トークンレベルの監視と計算効率の向上を提供する。
我々はOPSDの目的を同じ視点から分析し、結果の正しさのシグナルを取り入れた。
その結果,バニラOPSDは,結果の正当性に関わらず,不適切な軌跡に対して不十分な罰則と過剰な報酬を課すことが判明した。
本稿では,2次結果の報奨と累積平均教師エントロピーに応じて,分散目標と蒸留位置の両方を動的に適応させるOG-OPSD(Outcome-Guided On-Policy Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-10-04T09:13:27Z) - What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
論文 参考訳（メタデータ） (2026-09-27T11:08:31Z) - One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。
トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。
OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
論文 参考訳（メタデータ） (2026-09-06T08:32:59Z) - Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents [15.62688304085298]
ディープサーチエージェントは、数十のステップにまたがる軌道上で動作します。
On-policy Self-distillation (OPSD)は、モデル自身のロジットを密集したトークンレベルの教師として利用することで、この問題に対処する。
本稿では,教師の不一致をステップレベルの優位重みに変換するステップレベル自己拡張政策最適化(SSPO)を提案する。
論文 参考訳（メタデータ） (2026-08-13T03:13:18Z) - Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。
本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。
本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-08T05:46:32Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。