論文の概要: Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning

• arxiv url: http://arxiv.org/abs/2601.23032v1
• Date: Fri, 30 Jan 2026 14:42:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.505352
• Title: Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning
• Title（参考訳）: 軌道ガイドによるツール・インテグレート・推論のためのツール・トラックの修復とリワード
• Authors: Siyu Gong, Linan Yue, Weibo Gao, Fangzhou Yao, Shimin Di, Lei Feng, Min-Ling Zhang,
• Abstract要約: AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。 実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
• 参考スコア（独自算出の注目度）: 65.10602992874787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tool-Integrated Reasoning (TIR) enables large language models (LLMs) to solve complex tasks by interacting with external tools, yet existing approaches depend on high-quality synthesized trajectories selected by scoring functions and sparse outcome-based rewards, providing limited and biased supervision for learning TIR. To address these challenges, in this paper, we propose AutoTraj, a two-stage framework that automatically learns TIR by repairing and rewarding tool-use trajectories. Specifically, in the supervised fine-tuning (SFT) stage, AutoTraj generates multiple candidate tool-use trajectories for each query and evaluates them along multiple dimensions. High-quality trajectories are directly retained, while low-quality ones are repaired using a LLM (i.e., LLM-as-Repairer). The resulting repaired and high-quality trajectories form a synthetic SFT dataset, while each repaired trajectory paired with its original low-quality counterpart constitutes a dataset for trajectory preference modeling. In the reinforcement learning (RL) stage, based on the preference dataset, we train a trajectory-level reward model to assess the quality of reasoning paths and combine it with outcome and format rewards, thereby explicitly guiding the optimization toward reliable TIR behaviors. Experiments on real-world benchmarks demonstrate the effectiveness of AutoTraj in TIR.
• Abstract（参考訳）: TIR(Tool-Integrated Reasoning)は、外部ツールと対話することで、大規模な言語モデル(LLM)が複雑なタスクを解くことを可能にする。 本稿では,ツール利用軌道の修復と報奨によってTIRを自動的に学習する2段階フレームワークであるAutoTrajを提案する。 具体的には、教師付き微調整(SFT)段階において、AutoTrajはクエリ毎に複数のツール使用トラジェクトリを生成し、複数の次元に沿って評価する。 高品質の軌道は直接保持され、低品質の軌道はLLM(LLM-as-Repairer)を用いて修理される。 結果として得られた修理された高品質な軌道は合成SFTデータセットを形成し、修理された軌道と元の低品質な軌道との組み合わせは、軌道優先モデリングのためのデータセットを構成する。 強化学習(RL)の段階では、選好データセットに基づいて、軌道レベルの報酬モデルを訓練し、推論パスの品質を評価し、結果とフォーマットの報酬を組み合わせ、信頼性の高いTIR行動への最適化を明示的に導く。 実世界のベンチマーク実験では、TIRにおけるAutoTrajの有効性が示されている。

関連論文リスト

• TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use [74.47746287181383]
  大規模言語モデル(LLM)ベースのエージェントは、現実のタスクを完了するためのツールの使用にますます依存している。 LLMのツール使用能力を総合的に評価するためのトラジェクトリ対応ベンチマークであるTRAJECT-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-10-06T07:30:25Z)
• Toward Effective Tool-Integrated Reasoning via Self-Evolved Preference Learning [68.89572566071575]
  Tool-Integrated Reasoning (TIR)により、大きな言語モデル(LLM)は、外部ツールを統合することで、内部推論能力を改善することができる。 提案するTool-Lightは,LDMがTIRを効率的にかつ正確に実行できるようにするためのフレームワークである。 10個のデータセットの実験結果は、ツールライトの有効性を示している。
  論文  参考訳（メタデータ） (2025-09-27T12:53:37Z)
• Large Language Model-Empowered Decision Transformer for UAV-Enabled Data Collection [71.84636717632206]
  空間分散デバイスからの信頼性とエネルギー効率のよいデータ収集のための無人航空機(UAV)は、IoT(Internet of Things)アプリケーションをサポートする上で大きな可能性を秘めている。 有効なUAV制御ポリシーを学習するための共同言語モデル(LLM)を提案する。 LLM-CRDTは、現在の最先端DTアプローチよりも最大36.7%高いエネルギー効率を達成し、オンラインおよびオフラインメソッドのベンチマークより優れている。
  論文  参考訳（メタデータ） (2025-09-17T13:05:08Z)
• Are You Being Tracked? Discover the Power of Zero-Shot Trajectory Tracing with LLMs! [3.844253028598048]
  LLMTrackは、ゼロショット軌道認識にLLMをどのように活用できるかを示すモデルである。 本研究では,屋内シナリオと屋外シナリオを特徴とする異なる軌跡を用いて,現実のデータセットを用いてモデルを評価した。
  論文  参考訳（メタデータ） (2024-03-10T12:50:35Z)
• Learning From Failure: Integrating Negative Examples when Fine-tuning Large Language Models as Agents [41.14201835950814]
  大規模言語モデル(LLM)は、検索エンジンなどのツールを介して環境と対話するエージェントとして機能することに成功した。 これまでの研究は、LLMと環境の間の相互作用軌跡を初めて収集し、小さなモデルを微調整するためにタスクを完了した軌道のみを用いていた。 これらの軌道からLLMは適切な品質制御と微調整戦略によって学習することができると我々は主張する。
  論文  参考訳（メタデータ） (2024-02-18T17:10:07Z)
• Leveraging Optimal Transport for Enhanced Offline Reinforcement Learning in Surgical Robotic Environments [4.2569494803130565]
  我々は,少数の高品質な専門家によるデモンストレーションを用いて,オフラインの軌道に報酬を割り当てるための革新的なアルゴリズムを導入する。 このアプローチは、手作りの報酬の必要性を回避し、ポリシー学習に膨大なデータセットを活用する可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-10-13T03:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。