論文の概要: TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition
- arxiv url: http://arxiv.org/abs/2605.16790v1
- Date: Sat, 16 May 2026 03:47:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.022931
- Title: TIER: Trajectory-Invariant Execution Rewards for Multi-Step Tool Composition
- Title（参考訳）: TIER:多段階ツール構成のための軌道不変実行リワード
- Abstract要約: アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存している。
本稿では,関数スキーマと実行時実行を直接管理する報奨フレームワークであるtrajectory-Invariant Execution Rewardsを提案する。
- 参考スコア（独自算出の注目度）: 62.56752617853322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool use enables large language models to solve complex tasks through sequences of API calls, yet existing reinforcement learning approaches fail to scale to multi-step composition settings. Outcome-based rewards provide only sparse feedback, while trajectory-supervised rewards depend on annotated reference solutions, penalizing valid alternatives and limiting scalability. We propose TIER: Trajectory-Invariant Execution Rewards, a reward framework that derives supervision directly from function schemas and runtime execution, rather than from reference trajectories. The reward decomposes into format validity, schema adherence, execution success, and answer correctness, providing dense, interpretable sequence-level feedback derived from fine-grained verification of individual steps of tool use. This design allows any valid execution path to receive credit, naturally supporting multiple solution strategies and adapting to evolving tool interfaces. On DepthBench, a compositional benchmark stratified by depth (1 to 6 steps), TIER achieves >90% accuracy across steps, where trajectory-supervised rewards collapse beyond step-4. We further demonstrate consistent gains on benchmarks like BFCL v3 and NestFUL. Ablation studies confirm that all reward components are necessary, highlighting the importance of multi-level supervision for compositional reasoning.
- Abstract（参考訳）: ツールの使用により、API呼び出しのシーケンスを通じて、大規模な言語モデルによる複雑なタスクの解決が可能になるが、既存の強化学習アプローチでは、マルチステップのコンポジション設定にスケールできない。
アウトカムベースの報酬はスパースフィードバックのみを提供するが、トラジェクトリによる報酬は注釈付き参照ソリューションに依存し、有効な選択肢を罰し、スケーラビリティを制限する。
提案するTIERは, 参照トラジェクトリではなく, 関数スキーマや実行時の実行を直接的に監視する報奨フレームワークである。
報酬は、フォーマットの妥当性、スキーマの順守、実行の成功、そして回答の正しさに分解され、ツール使用の個々のステップのきめ細かい検証から得られた、密集した解釈可能なシーケンスレベルのフィードバックを提供する。
この設計により、有効な実行パスは、クレジットを受け取り、複数のソリューション戦略を自然にサポートし、進化するツールインターフェースに適応することができる。
DepthBenchでは、深さ(1から6ステップ)で成層された合成ベンチマークで、TIERはステップ間で90%の精度を達成する。
さらに、BFCL v3やNestFULのようなベンチマークで一貫した利得を示す。
アブレーション研究は、すべての報酬成分が不可欠であることを確認し、構成的推論における多段階の監督の重要性を強調している。
関連論文リスト
- StructReward: Efficient Structured Process Rewards for Self-Correcting Multimodal Reasoning [3.6795543408370466]
検証可能な報酬(RLVR)を用いた強化学習は,多モーダル推論を改善するための効果的なアプローチとして現れている。
プロセス報酬モデルはよりきめ細かいフィードバックを提供するが、通常は個別に訓練された検証、コストのかかる連鎖アノテーション、あるいは大規模な言語モデルによるオンライン判断に依存している。
我々はStructRewardを紹介した。StructRewardは、構造化されたステップレベルの報酬アライメントを通じて高密度の強化信号を提供する計算効率のフレームワークである。
論文 参考訳（メタデータ） (2026-08-08T20:29:32Z) - ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning [75.26064451955199]
ExTraは、モデル自身のロールアウトから探索信号を抽出するフレームワークである。
GRPO上でQwen3-1.7Bをpass@1で約5ポイント、pass@16で+7ポイント改善する。
論文 参考訳（メタデータ） (2026-06-23T15:51:39Z) - Every Step Counts: Step-Level Credit Assignment for Tool-Integrated Text-to-SQL [13.130554329857496]
ツール拡張テキストにおけるステップレベルクレジット代入のための新しいフレームワークであるFineStepを提案する。
FineStepは4BスケールでGRPOよりも平均3.25%向上し,最先端のパフォーマンスを実現し,冗長なツールインタラクションを低減する。
論文 参考訳（メタデータ） (2026-05-06T10:10:31Z) - SWE-Shepherd: Advancing PRMs for Reinforcing Code Agents [0.31034395048547575]
既存のアプローチは、コード編集、ファイルナビゲーション、テスト実行などのアクションを選択するための静的なプロンプト戦略や手作業に依存している。
本稿では,プロセス・リワード・モデル(Process Reward Models,PRM)を導入するフレームワークであるSWE-Shepherdを提案する。
SWE-Bench Verifiedの実験では、インタラクション効率とアクション品質の改善に加えて、中間報酬と最終タスク成功の整合性の課題も強調されている。
論文 参考訳（メタデータ） (2026-04-12T06:51:47Z) - Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards [76.49428173793386]
LLMは、中間出力を伝搬しながら、正しい順序で複数の依存APIを呼び出す必要がある。
既存の環境は、シミュレーションデータを使った単純なターン毎の関数呼び出しとバイナリ報酬に重点を置いている。
まず、実APIレスポンスの大規模キャッシュを背景とした強化学習環境を構築し、有効なマルチステップオーケストレーショントレースをサンプリングするデータ合成パイプラインを実現する。
第二に、正当性を原子の妥当性とオーケストレーションに分解する、段階的な報酬設計を提案する。
論文 参考訳（メタデータ） (2026-03-25T18:31:39Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。
本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
論文 参考訳（メタデータ） (2026-01-29T16:04:59Z) - MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching [60.886768806064936]
Tool-Integrated Reasoningは、外部ツールのインタラクションと推論ステップをインターリーブすることで、大規模な言語モデルで複雑なタスクに対処することを可能にする。
既存の強化学習法は、結果や軌道レベルの報酬に依存し、軌道内のすべてのステップに一様の利点を割り当てる。
両部間マッチングに基づくターンレベルの報酬割当と二重レベルの優位性推定によるきめ細かい監視を実現するフレームワークであるMatchTIRを提案する。
論文 参考訳（メタデータ） (2026-01-15T18:59:23Z) - Integrating Diverse Assignment Strategies into DETRs [61.61489761918158]
ラベル割り当ては、特にDETRスタイルのフレームワークにおいて、オブジェクト検出器において重要なコンポーネントである。
我々は,任意のDETR型検出器に多様な割り当て戦略をシームレスに統合する,フレキシブルで軽量なフレームワークであるLoRA-DETRを提案する。
論文 参考訳（メタデータ） (2026-01-14T07:28:54Z) - Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation [27.484259938667776]
大規模言語モデルはコード生成に優れていますが、推論を必要とする複雑なプログラミングタスクに苦労します。
本稿では,実行可能検証を活用することで,プロセスと結果の監視を統一するアウトカム・リフィニング・プロセス・スーパービジョンを紹介する。
5つのモデルと3つのベンチマークによる実験では、26.9%の精度でコード効率が42.2%向上した。
論文 参考訳（メタデータ） (2024-12-19T17:59:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。