論文の概要: Otap:Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories
- arxiv url: http://arxiv.org/abs/2607.17082v1
- Date: Sun, 19 Jul 2026 05:23:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.352177
- Title: Otap:Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories
- Title（参考訳）: Otap: エージェント軌道の計画と実行評価のための構造を考慮した最適輸送
- Abstract要約: 現在の評価指標は、そのような軌道をバイナリ成功フラグに還元するか、正確なマッチングによって参照と比較する。
エージェントの実行グラフと有効な解グラフの集合との距離として軌道評価をインスタンス化する。
結果のスコアは"otap"と呼ばれ、依存性保存のリオーダーに確実に不変な擬似メトリックである。
- 参考スコア（独自算出の注目度）: 13.06173852232351
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language model agents solve tasks by generating trajectories that interleave planning, tool calls, and intermediate results. Current evaluation metrics reduce such a trajectory to a binary success flag or compare it against a reference by exact matching. A success flag cannot distinguish a sound solution from one that succeeds by luck, and says nothing about why a failed run went wrong. Exact matching penalizes plans that are valid but reordered or decomposed differently from the reference. We reframe trajectory evaluation as a distance between the agent's execution graph and a set of valid solution graphs, and instantiate it via an unbalanced fused Gromov-Wasserstein transport problem over attributed dependency graphs. The resulting score, termed \otap{} (Optimal Transport for Agentic Planning), is a pseudo-metric that is provably invariant to dependency-preserving reorderings and has bounded sensitivity to redundant steps. Its unbalanced marginals handle missing or hallucinated steps without forcing a match, and its soft coupling accommodates variation in plan granularity. On controlled perturbations and three public benchmarks, \otap{} separates valid from invalid trajectories in a regime where semantics-only metrics score below chance. Its accuracy is highest when the dependency graph is recovered exactly, and drops only when the graph is inferred heuristically from free-text traces.
- Abstract（参考訳）: 大規模言語モデルエージェントは、計画、ツールコール、中間結果とをインターリーブするトラジェクトリを生成することでタスクを解決する。
現在の評価指標は、そのような軌道をバイナリ成功フラグに還元するか、正確なマッチングによって参照と比較する。
成功フラグは、幸運によって成功するものと健全な解決策を区別することができず、なぜ失敗したのかについては何も述べない。
厳密なマッチングは、有効だが、参照と異なる順序で順序を変更したり分解したりするプランを罰する。
我々は,エージェントの実行グラフと有効な解グラフの集合との距離として軌道評価を再構成し,非平衡なグロモフ・ワッサーシュタイン輸送問題を属性付き依存グラフ上でインスタンス化する。
結果のスコアは \otap{} (Optimal Transport for Agentic Planning, エージェントプランニングのための最適な輸送) と呼ばれ、依存性保存のリオーダーに確実に不変であり、冗長なステップに制限された感度を持つ擬似メトリックである。
バランスの取れない縁取りは、マッチを強制せずに失ったり幻覚したステップを処理し、ソフトカップリングはプランの粒度の変動に対応する。
制御された摂動と3つの公開ベンチマークで、 \otap{}は、セマンティクスのみのメトリクスがチャンスを下回る体制において、無効なトラジェクトリから有効を分離する。
その精度は依存グラフが正確に復元されたときが最も高く、グラフが自由テキストトレースからヒューリスティックに推論されたときにのみ低下する。
関連論文リスト
- TaPeR: Probabilistic Recovery of Sparse Task Precedence Graphs from a Handful of Demonstrations [16.604293152314995]
ロングホライゾン操作タスクは、部分的にのみ順序付けされることが多い。
既存のアプローチは典型的には、時間的および象徴的な監督の両方を用いて人間のデモンストレーションからタスク構造を推測する。
本稿では,単純なキネマティックグラフと相対的なオブジェクトポーズ上の分布のみを用いて,実演からタスク依存構造を抽出する手法を提案する。
論文 参考訳（メタデータ） (2026-08-21T12:31:50Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - What Resolve Rate Hides: Trajectory Structure Diagnostics for Coding Agents [14.988334585821939]
コーディングエージェントは、ほぼ完全に解決率でランク付けされる。
単一のパス/フェイルラベルは、なぜ実行が失敗したのか、なぜ承認された実行が追加のステップ、時間、トークンを費やしたのかについて何も述べていない。
TraceProbeは、リゾルフレートが隠すものを回復するトラジェクトリに依存しないフレームワークである。
論文 参考訳（メタデータ） (2026-07-07T12:09:46Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - TraceGraph: Shared Decision Landscapes for Diagnosing and Improving Agent Trajectories [61.51984029109709]
グラフベースのフレームワークであるTraceGraphを紹介した。
各タスクに対して、TraceGraphは、モデルIDが導入される前に、プールされたロールアウトから観測可能なアクション・オブザーブレーション状態のグラフを構築する。
次に、結果インフォームされた生産的なコアとトラップリージョンをオーバーレイし、各ロールアウトを3つのイベント – アクセス、トラップ露出、修復 – で要約する。
論文 参考訳（メタデータ） (2026-05-29T13:40:31Z) - Phantom transitions in language model fine-tuning [0.0]
ほぼ同期の競合相手とコンテキスト上で言語モデルを微調整することは、しばしばサイレントに失敗する。
2つのファミリーにまたがる5つの変圧器アーキテクチャと5つのパラメータ範囲にまたがるこの構造について検討する。
位相遷移に類似した順序パラメータにおいて,鋭いカタパルト様ジャンプを観察する。
論文 参考訳（メタデータ） (2026-05-25T10:44:42Z) - Proper Scoring Rules for Agentic Uncertainty Quantification [0.038379177968040606]
Trajectory Proper Score (TPS) は、厳密に適切なトラジェクトリレベルスコアルールの予測非依存のファミリーである。
軌道ECEは分解能が弱いが、スカラー化された軌道ブライアは崩壊したスカラーのみを付与する。
論文 参考訳（メタデータ） (2026-05-23T22:22:00Z) - From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。
本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
論文 参考訳（メタデータ） (2026-05-21T04:54:55Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - SMATCH++: Standardized and Extended Evaluation of Semantic Graphs [4.987581730476023]
Smatchメトリックはグラフ距離を評価する一般的な方法である。
構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。
スコアリングの改善のために,細粒度部分グラフの意味の計算を標準化し,拡張する手法を提案する。
論文 参考訳（メタデータ） (2023-05-11T17:29:47Z) - FGOT: Graph Distances based on Filters and Optimal Transport [62.779521543654134]
グラフ比較は、グラフ間の類似点と相違点の識別を扱う。
大きな障害は、グラフの未知のアライメントと、正確で安価な比較指標の欠如である。
本研究では,フィルタグラフ距離近似を導入する。
論文 参考訳（メタデータ） (2021-09-09T17:43:07Z) - Wasserstein-based Graph Alignment [56.84964475441094]
我々は,より小さいグラフのノードと大きなグラフのノードをマッチングすることを目的とした,1対多のグラフアライメント問題に対する新しい定式化を行った。
提案手法は,各タスクに対する最先端のアルゴリズムに対して,大幅な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2020-03-12T22:31:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。