論文の概要: SGR-OPSD: Learning from Subgoal Plans with Graph-Regularized Credit Assignment for Agentic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.02414v1
• Date: Mon, 02 Nov 2026 02:35:49 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:34:23.001643
• Title: SGR-OPSD: Learning from Subgoal Plans with Graph-Regularized Credit Assignment for Agentic Reinforcement Learning
• Title（参考訳）: SGR-OPSD:エージェント強化学習のためのグラフ規則化クレジットアサインメントを用いたサブゴナルプランからの学習
• Abstract要約: OPSDは、特権情報フィードバックを通じてエージェント強化学習のための密集した監視を提供する。 本稿では,ターンレベルのクレジット代入に関する,サブゴナル・インスペクションとインタラクションに基づくエビデンスを組み合わせた枠組みを提案する。
• 参考スコア（独自算出の注目度）: 14.182471219893072
• License:
• Abstract: OPSD provides dense supervision for agentic reinforcement learning through privileged information feedback. However, existing privileged information often lacks explicit task-progression planning, while teacher-student log-probability gaps reflect shifts in model preference rather than true task progress. To address these limitations, we propose Subgoal-Guided Graph-Regularized OPSD (SGR-OPSD), a framework that combines subgoal supervision with interaction-derived evidence for turn-level credit assignment. Specifically, SGR-OPSD uses LLM-generated subgoal plans to provide dense action-level guidance, converting them into advantage weights via a constrained, KL-regularized objective. To ground credit in observed outcomes, we construct a Subgoal Progress Graph that estimates empirical returns from sampled transition frequencies. The graph compares empirical action returns against the state average to derive preferences that calibrate the teacher's credit weights. Evaluated on ALFWorld, WebShop, and Search-QA across two model scales (Qwen2.5-3B and 7B), SGR-OPSD consistently outperforms GRPO and strong self-distillation baselines, improving success rates over GRPO by up to 7.4 percentage points and reaching 85.8% on ALFWorld with Qwen2.5-7B. Ablation studies confirm that subgoal guidance and graph-based weight calibration are key to these performance gains.
• Abstract（参考訳）: OPSDは、特権情報フィードバックを通じてエージェント強化学習のための密集した監視を提供する。 しかし、既存の特権情報には明示的なタスクプログレス計画が欠けている場合が多いが、教師と学生の対数確率の差は真のタスク進行よりもモデル優先のずれを反映している。 これらの制約に対処するために,サブゴール監視とターンレベルの信用代入に関するインタラクションに基づく証拠を組み合わせたフレームワークであるSubgoal-Guided Graph-Regularized OPSD(SGR-OPSD)を提案する。 具体的には、SGR-OPSDはLSM生成したサブゴールプランを使用して、高密度なアクションレベルのガイダンスを提供し、制約されたKL正規化目的によってそれらを有利な重みに変換する。 観測結果の信用を得るため,サンプル遷移周波数から経験的リターンを推定するサブゴアルプログレスグラフを構築した。 このグラフは、経験的行動の返却を州平均と比較し、教師の信用重量を調節する嗜好を導出する。 ALFWorld、WebShop、Search-QAの2つのモデルスケール(Qwen2.5-3Bと7B)で評価され、SGR-OPSDはGRPOと強い自己蒸留ベースラインを一貫して上回り、最大7.4ポイントの成功率を改善し、Qwen2.5-7BでALFWorldで85.8%に達した。 アブレーション研究は、これらのパフォーマンス向上の鍵は、サブゴールガイダンスとグラフベースのウェイトキャリブレーションであることを確認した。

関連論文リスト

• Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning [23.065672098899213]
  グループベース強化学習(RL)手法は、推論とエージェント型大規模言語モデル(LLM)を訓練するための主要なパラダイムとなっている。 グループ正規化による優位推定は応答レベルでは信頼できるが、ステップレベルでは体系的にバイアスとなる。 本稿では,すべてのロールアウトトラジェクトリをトラジェクトリグラフに移植するグラフベースのFithful sTepレベルクレジットアサインメントフレームワーク(GRAFT)を提案する。
  論文  参考訳（メタデータ） (2026-09-24T03:20:58Z)
• AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
  AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。 ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
  論文  参考訳（メタデータ） (2026-08-06T13:00:59Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Learning from Own Solutions: Self-Conditioned Credit Assignment for Reinforcement Learning with Verifiable Rewards [49.1203423784326]
  我々は、前述のKL分散をGRPO勾配の乗算重みとして用いるSC-GRPO(Self-Conditioned GRPO)を提案する。 数学、コード、エージェントタスクにまたがる5つのベンチマークで、SC- GRPOはGRPOより8.1%、DAPOより5.9%、OODパフォーマンスが強い。
  論文  参考訳（メタデータ） (2026-06-17T08:26:02Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Beyond Trajectory-Level Attribution: Graph-Based Credit Assignment for Agentic Reinforcement Learning [30.228760269449072]
  グループベース強化学習(RL)法は,大規模言語モデル(LLM)の性能向上に成功している。 グラフベースのグループポリシー最適化(GraphGPO)を提案し、すべてのロールアウト軌跡を統一された状態遷移グラフに集約する。 グラフにエンコードされたグローバル情報を用いて、各状態からタスク目標までの距離を推定する。 最後に、GraphGPOは、タスク目標までの距離をどの程度短縮するかに基づいて、グラフベースの利点を推定することで、各エッジにクレジットを割り当てる。
  論文  参考訳（メタデータ） (2026-05-26T08:23:34Z)
• Metacognition as Reward: Reinforcing LLM Reasoning via Knowledge and Regulation Signals [75.25256166997414]
  本稿ではメタ認知に触発されたRLフレームワークであるメタ認知・アズ・リワード(MaR)を紹介する。 MaRは2つの一般的なプロセス次元を推論する。 MaRはモデル性能を継続的に改善し、ベースモデルよりも最大7.7%向上した。
  論文  参考訳（メタデータ） (2026-05-22T08:54:37Z)
• GRPO-VPS: Enhancing Group Relative Policy Optimization with Verifiable Process Supervision for Effective Reasoning [48.32628338889922]
  グループ相対政策最適化は中間段階の無差別な信用割当に苦しむ。 モデルフリーで検証可能なプロセス監視を,モデルが正しい回答を信じているかどうかを判断することによって導入する。 このアプローチにより、よりターゲット的でサンプル効率の良いポリシー更新が可能になる。
  論文  参考訳（メタデータ） (2026-04-22T15:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。