論文の概要: OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
- arxiv url: http://arxiv.org/abs/2610.21345v1
- Date: Thu, 15 Oct 2026 06:29:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.2198
- Title: OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
- Title（参考訳）: OpCredit:エージェント知識グラフ質問応答のための運用対応政策学習
- Abstract要約: エージェント知識グラフ質問応答は実行可能な操作のシーケンスに依存するが、軌道レベルの報酬は個々の貢献を曖昧にする。
我々は、下流の成果クレジットと即時移行クレジットを組み合わせたオペレータウェアなポリシー学習フレームワークであるOpCreditを提案する。
ComplexWebQuestions、WebQSP、GrailQAの3つのバックボーンによる実験は、KGQAのパフォーマンスが一貫した改善を示している。
- 参考スコア（独自算出の注目度）: 13.363237312598216
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic knowledge graph question answering(KGQA) relies on sequences of executable operations, but trajectory-level rewards obscure their individual contributions. Successful trajectories may contain ineffective operations, while failed trajectories may contain useful ones. To assess individual operations, we propose OpCredit, an operationaware policy-learning framework that combines downstream outcome credit with immediate transition credit: Branch Outcome Credit (BOC) reuses ordinary rollouts to compare terminal task rewards observed after different operations under matched navigation contexts; Frontier Transition Credit (FTC) measures operation-induced changes in answer-conditioned frontier potential. The two complementary signals jointly supervise the corresponding decision spans during training, while inference uses only the learned policy and standard KG interface. Experiments on ComplexWebQuestions, WebQSP, and GrailQA across three backbones demonstrate consistent improvements in KGQA performance.
- Abstract（参考訳）: エージェント知識グラフ質問応答(KGQA)は実行可能な操作のシーケンスに依存するが、軌道レベルの報酬は個々の貢献を曖昧にする。
成功した軌道は非効率な操作を含むかもしれないし、失敗した軌道は有用な操作を含むかもしれない。
分岐アウトカムクレジット(BOC)は、正常なロールアウトを再利用し、マッチしたナビゲーションコンテキスト下で異なる操作後に観察される端末タスク報酬を比較する。
2つの補完信号は、トレーニング中に対応する決定を共同で監督し、推論は学習されたポリシーと標準KGインターフェースのみを使用する。
ComplexWebQuestions、WebQSP、GrailQAの3つのバックボーンによる実験は、KGQAのパフォーマンスが一貫した改善を示している。
関連論文リスト
- CLEAT: Learning Value-Guided Clarification for Interactive Agents [50.63941775694406]
本研究では,対話型意図アライメントの課題を明確化を通じて検討する。
トレーニングが不完全な情報を扱う方法を変えると、同じ明確化が多かれ少なかれ有用になる。
CLEATは、共有インタラクション結果から明確化値コントローラとタスクポリシーを協調訓練するフレームワークである。
論文 参考訳（メタデータ） (2026-10-08T19:22:21Z) - Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents [19.814575074905722]
政策が自己の軌道を判断し、個別に訓練された報酬モデルなしでこれらの判断を用いてタスクパフォーマンスを向上させることができるかどうかを検討する。
行動自己回帰(BSR)は、ペアワイズ選好をタスクローカルスコアに集約し、それらを有界補助報酬に変換する。
BSRは、新しい環境相互作用を必要とせずに、既に収集された軌道からのさらなる監督を提供する。
論文 参考訳（メタデータ） (2026-10-08T18:21:10Z) - PRICE the Action Chunks: Physical Relational Credit Assignment for Embodied Reinforcement Learning [13.723588585738831]
アウトカムベースの強化学習は、すべてのアクションチャンクに同じ軌道レベルの利点を割り当てる。
軌道上の物理的関係は、具体化されたRLにおいてアクション・チャンク・クレジットを提供することができる。
LIBERO、RoboTwin 2.0、および実際のロボットの実験では、結果ベースラインよりもタスクの成功が向上した。
論文 参考訳（メタデータ） (2026-09-30T03:37:31Z) - Reconciling Process Supervision with Outcome-Based Credit in Agentic Policy Optimization [13.354353071601379]
我々は、特権付き監督を成果ベースアクションクレジットに変換するTASPOを紹介する。
3つのエージェントベンチマークで、TASPOはGRPOよりも10.6%改善し、目に見えないタスクを一般化する。
論文 参考訳（メタデータ） (2026-08-31T16:51:50Z) - IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents [10.577620258047665]
この研究は、マルチターンユーザインタラクションにおけるクレジット代入の理解を深める。
粗末な結果フィードバックからサービスエージェントをトレーニングするための、原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2026-08-25T14:14:36Z) - TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。
ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。
純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
論文 参考訳（メタデータ） (2026-07-15T16:16:42Z) - GAPD: Gold-Action Policy Distillation for Agentic Reinforcement Learning in Knowledge Base Question Answering [64.23115520219609]
結果に基づくRLに高密度トークンレベルガイダンスを付加する訓練時間金反応政策蒸留フレームワークを提案する。
GAPDはWebQSP、GrailQA、GraphQの最先端技術に一貫して勝っている。
論文 参考訳（メタデータ） (2026-05-28T08:28:10Z) - SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。
本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。
SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
論文 参考訳（メタデータ） (2026-04-12T06:51:47Z) - Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。
我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。
我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
論文 参考訳（メタデータ） (2025-09-23T16:15:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。