論文の概要: Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents

• arxiv url: http://arxiv.org/abs/2610.03634v1
• Date: Fri, 02 Oct 2026 17:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.515503
• Title: Credit Where It Matters: Dependency-Aware Policy Optimization for Terminal Agents
• Title（参考訳）: 問題となるクレデンシャル:端末エージェントの依存性を考慮したポリシー最適化
• Abstract要約: 端末エージェントに対する依存性認識グループポリシー最適化(DepGPO)を提案する。 我々は、実行トレースからコマンド依存グラフを構築し、タスク検証器によって検査されたリソースから後方にトレースする。 次に、関連する書き込みとそのパスに沿ってサポートされた読み取りにクレジットを割り当て、ステップ間でのトラジェクティブの利点を再分配するためにそれを使用します。
• 参考スコア（独自算出の注目度）: 29.943505733789703
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Terminal-using agents benefit from reinforcement learning (RL) in coding, debugging, and other multi-step terminal tasks. In these tasks, later commands often depend on information or intermediate results produced by earlier commands. However, existing trajectory-level and step-level credit assignment methods do not explicitly trace the read-write dependencies through which commands affect the final outcome. Consequently, training signals could still be assigned to irrelevant operations, weakening learning from relevant steps. In this paper, we propose Dependency-Aware Group Policy Optimization (DepGPO), which uses execution dependencies between commands to guide credit assignment for terminal agents. Specifically, we construct a command dependency graph from execution traces and trace backward from the resources inspected by the task verifier. We then assign credit to relevant writes and their supporting reads along these paths, and use it to redistribute trajectory advantages across steps. Extensive comparative experiments and ablation studies demonstrate that DepGPO improves task performance and training stability on complex terminal tasks.
• Abstract（参考訳）: 端末利用エージェントは、コーディング、デバッグ、その他の多段階端末タスクにおける強化学習(RL)の恩恵を受ける。 これらのタスクでは、後続のコマンドは、しばしば以前のコマンドが生成した情報や中間結果に依存する。 しかし、既存のトラジェクトリレベルとステップレベルのクレジット割り当てメソッドは、コマンドが最終的な結果に影響を与える読み取り-書き込み依存関係を明示的にトレースしていない。 その結果、トレーニング信号はいまだ無関係な操作に割り当てられ、関連するステップからの学習が弱まる。 本稿では、コマンド間の実行依存性を利用して端末エージェントのクレジット代入を誘導するDependency-Aware Group Policy Optimization (DepGPO)を提案する。 具体的には、実行トレースからコマンド依存グラフを構築し、タスク検証器によって検査されたリソースから後方にトレースする。 次に、関連する書き込みとそのパスに沿ってサポートされた読み取りにクレジットを割り当て、ステップ間でのトラジェクティブの利点を再分配するためにそれを使用します。 大規模な比較実験とアブレーション実験により、DepGPOは複雑な端末タスクにおけるタスク性能とトレーニング安定性を改善していることが示された。

関連論文リスト

• VICT: Verifier-Instrumented Credit Tracing for Long-Horizon LLM Agent Reinforcement Learning [6.237984544487965]
  VICT(VerifierInstrumented Credit Tracing)は、原子を依存性検証エッジを通じて動作にトレースするトレーニングタイムインターフェースである。 結果のみのトレーニングよりも大幅に改善され、最近のきめ細かいクレジットメソッドと並行して、強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-28T09:43:54Z)
• IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents [10.577620258047665]
  この研究は、マルチターンユーザインタラクションにおけるクレジット代入の理解を深める。 粗末な結果フィードバックからサービスエージェントをトレーニングするための、原則化されたアプローチを提供する。
  論文  参考訳（メタデータ） (2026-08-25T14:14:36Z)
• Terminal Agents: A Survey of AI Agents in Command-Line Environments [102.48222742145474]
  大規模言語モデルエージェントは、ターミナルを通してますます行動するが、既存の調査は、ソフトウェア工学、ツールの使用、コンピュータ利用の研究にまたがって端末による振る舞いを分散させている。 我々は,端末エージェントを,端末コマンドの実行,テキストフィードバック,ステートフルな環境相互作用を介し,進行を伴う動作を主とするシステムとみなす。 我々の合成は、実現された行動はモデル、インターフェース、ハーネス、ランタイム、環境によって共同で形成されていることを示している。
  論文  参考訳（メタデータ） (2026-08-20T18:16:44Z)
• Success Leaves Detours: Learning Executable Walkthroughs for Long-Horizon Agents [11.833965746124408]
  テストタイムの自己進化エージェントは過去の経験を再利用することで改善されるが、スパース・リワード・トラジェクトリには障害、ループ、デトゥールが含まれる。 我々は、ノイズの多いトラジェクトリを実行可能なウォークスルーメモリにコンパイルする依存基盤フレームワークであるTraceを提案する。 J-TTL、WebShop、ScienceWorldの3つのオープンソースのLCMによる実験によると、トレースは8つのテスト時間学習とメモリベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-08-20T01:10:11Z)
• From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
  大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。 RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。 我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
  論文  参考訳（メタデータ） (2026-08-17T01:40:14Z)
• Connect the Dots: Training LLMs for Long-Lifecycle Agents with Cross-Domain Generalization Via Reinforcement Learning [82.3676770818744]
  大型言語モデル(LLM)を"Connect the Dots"(CoD)に接続するためのフレームワークを提案する。 LLMベースのAIエージェントが環境にデプロイされると、環境を継続的に探索しながら、タスクの長いシーケンスを解決する。 本稿では,詳細な信用代入を伴うGRPOスタイルのRLアルゴリズムを含む,CoDフレームワークの概念実証実装を提案する。
  論文  参考訳（メタデータ） (2026-06-18T09:38:45Z)
• TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models [49.463896453707065]
  VLA(Vision-Language-Action)モデルは目覚ましい進歩を遂げているが、展開時の分散シフトには弱いままである。 近年のVLAモデルは、プロンプトが政策行動の効率的なインターフェースとして機能することを示唆しているが、既存のプロンプトベースのステアリングは通常、外部ガイダンスに依存している。 VLAのテストタイムトレーニング(TTT)は、プロンプトの最適化によって実現可能か? 我々は、遅延プロンプト最適化(LPO)に基づくテスト時間トレーニングフレームワークであるTTT-VLAでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-06-02T04:10:39Z)
• Learning CLI Agents with Structured Action Credit under Selective Observation [10.420078730796321]
  コマンドラインインタフェース(CLI)エージェントは、進化するエージェントとコンピュータの相互作用、実行可能なコマンドラインプログラム、オンライン実行フィードバックの実践パラダイムとして登場しつつある。 最近の研究では、これらのインタラクション能力を検証可能なタスクフィードバックから学習するために強化学習(RL)を使用しているが、CLIアクションのネイティブな構造化属性を学習信号として活用する手法はほとんどない。 シェル駆動型情報抽出とファイル編集タスクを用いて,これらのボトルネックについて検討する。
  論文  参考訳（メタデータ） (2026-05-08T17:02:31Z)
• AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress [71.02263260394261]
  大規模言語モデル(LLM)は、マルチターン意思決定タスクにおいて依然として課題に直面している。 プロセス報酬モデル(PRM)を構築し、各意思決定を評価し、エージェントの意思決定プロセスを導く。 AgentPRMは、シーケンシャルな決定と最終的な目標への貢献の間の相互依存の両方をキャプチャする。
  論文  参考訳（メタデータ） (2025-11-11T14:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。