論文の概要: Dependency-Aware Trajectory Refinement for Efficient Multi-Turn Agent Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.18417v1
• Date: Wed, 16 Sep 2026 10:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.74968
• Title: Dependency-Aware Trajectory Refinement for Efficient Multi-Turn Agent Fine-Tuning
• Title（参考訳）: 効率的な多孔質材料微調整のための依存性を考慮した軌道微細化
• Abstract要約: そこで本研究では,各軌跡を球面依存性DAGとみなし,どのラウンドがグローバルにロード・ベアリングされているかを明らかにする。 これらの編集は決定論的で解釈可能である。 これらの洗練された軌道で訓練されたモデルは、推論コストの低いオリジナルの軌道で訓練されたモデルよりも一貫して優れていた。
• 参考スコア（独自算出の注目度）: 46.007931431049194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn agent trajectories often contain redundant rounds (failed tool calls, parallel sub-queries, verification-only steps) that inflate both training and inference cost. We propose viewing each trajectory as a \emph{round-level dependency DAG} that exposes which rounds are globally load-bearing for the final answer, and fine-tune agents on trajectories refined through this DAG. Given an LLM-annotated DAG, these edits are deterministic and interpretable, with optional rephrasing. Models trained on these refined trajectories consistently outperform those trained on the original trajectories at lower inference cost. Specifically, across four multi-modal QA benchmarks, our refinements improve downstream accuracy by up to $1.7$\,pp over vanilla SFT (and $5.7$\,pp over an LLM-deletion baseline) while reducing per-sample inference messages by up to approximately $40\%$ and inference tokens by up to approximately $48\%$, translating to substantial savings in compute and serving cost. Code is available.
• Abstract（参考訳）: マルチターンエージェントのトラジェクトリは、しばしば冗長なラウンド(ツールコールの失敗、並列サブクエリ、検証専用ステップ)を含み、トレーニングと推論の両方のコストを増大させる。 本稿では,各軌跡を,最終回答にどのラウンドがグローバルに負荷がかかるかを明らかにする「emph{round-level dependency DAG}」とみなし,このDAGを通して改良された軌跡上の細管エージェントを提案する。 LLMに注釈を付けたDAGが与えられた場合、これらの編集は決定論的で解釈可能である。 これらの洗練された軌道で訓練されたモデルは、推論コストの低いオリジナルの軌道で訓練されたモデルよりも一貫して優れていた。 具体的には、4つのマルチモーダルQAベンチマークにおいて、バニラSFTよりも最大1.7$\,pp(LLM-deletionベースラインよりも5.7$\,pp)のダウンストリーム精度を向上させると同時に、サンプル単位の推論メッセージを最大40\%、推論トークンを最大4,8\%まで削減し、計算とサービスコストの大幅な削減に寄与します。 コードは利用可能。

関連論文リスト

• Stable Curves, Unstable Items: Item-Level Scaling Heterogeneity in Video LLMs [16.31176289941024]
  ビデオLLMは、視覚的予算が大きくなるにつれて、スムーズに改善されるか、飽和していることを示す。 制御された視覚的予算の下で,各凍結モデルペアを応答軌道で表現する。 我々は、構成の相補性、有害な遷移、およびテキスト上書きの一致したグリッド測度を導出する。
  論文  参考訳（メタデータ） (2026-08-07T09:25:20Z)
• Stop Thinking, Start Looking: Efficient Post-Training for Multimodal Document Question Answering via Reasoning-Free Alignment [2.8730465903425877]
  マルチモーダル文書QAにグループ相対ポリシー最適化を適用するトレーニングフレームワークであるPerception-RFTを紹介する。 推論可能なモデルは,4Bパラメータ尺度で直接知覚に基づくポリシーに収束して,学習中の推論トレースを抑制する。 初期のSFT$rightarrow$RLトランジションは65%のトレーニングデータで同等の精度を実現する。
  論文  参考訳（メタデータ） (2026-07-16T07:43:39Z)
• TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents [51.523913302114266]
  TRACE(Turn-level Reward Assignment via Credit Estimation)は、エージェント強化学習のための高密度クレジットアサインメント手法である。 ツールコール境界における状態遷移としてロールアウトを表現し、凍結参照モデルからゴールド・アンサー・ログ確率を取得し、それらをログ比の状態値に変換し、それらの値の時間差変化としてアクション毎の報酬を導出する。 純粋なRLを用いたベースモデルツール使用能力を大幅に向上させ、冷間開始制御された微調整ステージ、エージェント訓練ステージ、ライブWebデータによるトレーニングを不要とした。
  論文  参考訳（メタデータ） (2026-07-15T16:16:42Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Large Language Models as Optimization Controllers: Adaptive Continuation for SIMP Topology Optimization [4.365822392824561]
  本稿では,SIMP最適化のためのオンラインコントローラとして,大規模言語モデルが機能するフレームワークを提案する。 ハードグレーネスゲートは未熟なバイナライゼーションを防止し、メタ最適化ループは第2パスを使用してエージェントの呼び出し周波数を調整する。 エージェントはすべてのベンチマークの最終的なコンプライアンスを達成する:$5.7%$から$-1%、すべてのソリューションが完全にバイナリである。
  論文  参考訳（メタデータ） (2026-03-26T07:14:31Z)
• Cost-Aware Query Routing in RAG: Empirical Analysis of Retrieval Depth Tradeoffs [0.0]
  本稿では,emphCost-Aware RAG (CA-RAG)について紹介する。 CA-RAG は、常に重い検索よりも有償トークンを textbf26% 減少させ、textbf34% 平均遅延を always-direct 推論より低くする。
  論文  参考訳（メタデータ） (2026-03-26T02:53:39Z)
• Cost-Aware Contrastive Routing for LLMs [57.30288453580456]
  我々は、プロンプトとモデルの両方を共有埋め込み空間にマッピングする軽量フレームワークであるコストスペクトルコントラストルーティング(CSCR)を紹介します。 CSCRはベースラインを一貫して上回り、精度とコストのトレードオフを最大25%改善した。
  論文  参考訳（メタデータ） (2025-08-17T20:16:44Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。