論文の概要: DynSTEER: Dynamic Stage-wise Trajectory Evaluation and Execution-time Review for Agents

• arxiv url: http://arxiv.org/abs/2609.14637v1
• Date: Sun, 13 Sep 2026 16:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.87057
• Title: DynSTEER: Dynamic Stage-wise Trajectory Evaluation and Execution-time Review for Agents
• Title（参考訳）: DynSTEER: エージェントの動的段階的軌道評価と実行時間の検討
• Abstract要約: DynSTEERはエージェントの動的段階的軌道評価フレームワークである。 ロールアウトを、重要な完了アクションによってアンカーされたステージに分割する。 様々な正当な戦略を尊重するために、公開タスクビューからパストレラントなマイルストーングラフをコンパイルする。
• 参考スコア（独自算出の注目度）: 29.982261116765162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model agents are increasingly deployed for long-horizon task execution. However, current evaluation paradigms face three major limitations: terminal-only assessment ignores intermediate processes and struggles to localize errors efficiently and accurately, single-reference matching penalizes valid alternative solution paths, and post-hoc trajectory judging incurs high costs without the ability to halt failed runs early. To address these issues, we propose DynSTEER, a dynamic stage-wise trajectory evaluation framework for agents. DynSTEER segments rollouts into stages anchored by key completed actions, focusing evaluation on essential milestones with adequate context while enabling targeted strategy adjustments. It compiles a path-tolerant milestone graph from public task views to respect diverse legitimate strategies without leaking ground truth. Furthermore, it adaptively routes evaluation queries across multi-tier judges and halts unrecoverable executions online to curb resource waste. Experiments demonstrate that DynSTEER improves evaluation discriminability across LLM agents by 85.2\% over native evaluation, separates all model pairs with statistical significance, and saves 34.51\% of execution steps on failed rollouts.
• Abstract（参考訳）: 大規模言語モデルエージェントは、長期タスク実行のためにますますデプロイされる。 しかし、現在の評価パラダイムは3つの大きな制限に直面している: 端末のみの評価は中間プロセスを無視し、エラーを効率よく正確にローカライズするのに苦労する。 このような問題に対処するため,エージェントのための動的段階的軌道評価フレームワークDynSTEERを提案する。 DynSTEERセグメントは、主要な完了アクションによって固定されたステージにロールアウトされ、適切なコンテキストで重要なマイルストーンの評価に集中し、目標とする戦略調整を可能にする。 公開タスクビューからパストレラントなマイルストーングラフをコンパイルし、真実を漏らすことなく、さまざまな正当な戦略を尊重する。 さらに,複数階層の審査員に対して評価クエリを適応的にルーティングし,検索不能な実行をオンラインで停止し,資源浪費を抑制する。 実験により、DynSTEERはネイティブ評価よりも85.2\%、統計的に有意な全てのモデルペアを分離し、ロールアウト失敗時の実行ステップの34.51\%を削減した。

関連論文リスト

• CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents [66.9575676266637]
  大規模言語モデル(LLM)エージェントは、長期的、インタラクティブでステートフルな環境にますますデプロイされている。 これらの設定では、間違った購入を返金するなどの1つの間違ったアクションは、不可逆なタスクの失敗を引き起こし、実行前にインターセプトされなければならない。 CASTは、スパースタスクの結果を批判学習と政策最適化のためのアクションレベル監視に変換する、批判に意識したトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-08-31T01:59:51Z)
• Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis in Agentic LLM Systems [47.66236392009794]
  LLM(Large Language Model)ベースのエージェントは、様々な複雑な対話的タスクにおいて、例外的なパフォーマンスを示す。 textitTrajectory Graph Copilot は LLM エージェントの副操縦士' として機能する新しいフレームワークで,実行前に潜在的な動作エラーを診断する。
  論文  参考訳（メタデータ） (2026-07-29T20:14:43Z)
• Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
  専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。 リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
  論文  参考訳（メタデータ） (2026-06-10T08:56:27Z)
• StainFlow: Entity-Stain Tracking and Evidence Linking for Process Rewards in GUI Agents [67.03593791535786]
  強化学習(Reinforcement Learning, RL)は、長期のデジタル環境においてGUIエージェントを改善するための有望なアプローチである。 この問題を軽減するため、最近の研究はプロセス・リワード・モデル(PRM)を導入している。 PRMは、グローバルマイルストーン検証やローカルステップレベルの評価を通じて、よりきめ細かいトレーニングフィードバックを提供する。 本稿では,GUIエージェントのためのエンティティ・スタンフロープロセス報酬モデルであるStainFlowを提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:17:28Z)
• GTA: Generating Long-Horizon Tasks for Web Agents at Scale [82.43869456830664]
  我々は、クローリング、検索ベースのシード、コンテキスト内生成、自動品質管理を統合したスケーラブルなフレームワーク、GTAを導入する。 eコマース、政府、フォーラム、ニュースをカバーする50以上のウェブサイトでパイプラインをインスタンス化し、マルチリンガルとマルチホップをカバーしています。 i) マルチホップWebエージェントタスク生成の形式化、(ii) 自動データ生成のための効率的で検証されたパイプラインの提案、(iii) 再現可能な評価を伴う動的ベンチマークのリリースである。
  論文  参考訳（メタデータ） (2026-05-28T01:05:50Z)
• Efficient Agent Evaluation via Diversity-Guided User Simulation [7.723545220477047]
  DIVERTは、エージェント-ユーザインタラクションを体系的に探索するための、スナップショットベースの、カバレッジガイド付きユーザーシミュレーションフレームワークである。 重要な決定ポイントでエージェント環境の全状態をキャプチャし、これらのスナップショットから実行を再開する。 DIVERTは、意味的に多様性があり、探索されていない軌道に焦点を合わせることにより、効率とカバレッジの両方を改善している。
  論文  参考訳（メタデータ） (2026-04-23T09:41:21Z)
• The Long-Horizon Task Mirage? Diagnosing Where and Why Agentic Systems Break [69.91172974854422]
  HORIZONは、大規模言語モデル(LLM)エージェントの長期障害挙動を解析するためのクロスドメイン診断ベンチマークである。 我々は,複数のモデルファミリーのSOTA(State-of-the-art)エージェントを評価し,水平方向依存劣化パターンについて検討した。 本研究は, 長期薬物障害の系統的, クロスドメイン解析への最初の方法論的ステップを提供する。
  論文  参考訳（メタデータ） (2026-04-13T19:11:42Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents [50.481033105867205]
  我々はAgentProcessBenchを紹介した。AgentProcessBenchは、現実的なツール拡張トラジェクトリにおけるステップレベルの有効性を評価するための最初のベンチマークである。 ベンチマークは、1,000の多様な軌跡と8,509の人間ラベル付きステップアノテーションと89.1%のアノテーション間合意で構成されている。 探索をキャプチャする3つのラベリングスキームと、ラベルのあいまいさを減らすためのエラー伝搬ルールを備えている。
  論文  参考訳（メタデータ） (2026-03-15T16:13:58Z)
• Agentic Spatio-Temporal Grounding via Collaborative Reasoning [80.83158605034465]
  時間的ビデオグラウンド(Temporal Video Grounding)は、テキストクエリが与えられたビデオ内の対象物または人の時間的チューブを検索することを目的としている。 本稿では,STVGの課題に対して,オープンワールドおよびトレーニングフリーシナリオに向けたエージェント時空間グラウンド(ASTG)フレームワークを提案する。 具体的には、現代多言語モデル(MLLM)を活用した2つの特殊エージェントSRA(Spatial Reasoning Agent)とTRA(Temporal Reasoning Agent)である。 人気のあるベンチマークの実験は、既存の弱教師付きおよびゼロショットアプローチをマージンで上回る提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2026-02-10T10:16:27Z)
• Verified Critical Step Optimization for LLM Agents [67.05296684575445]
  クリティカルステップ最適化は、検証されたクリティカルステップに優先学習を集中する。 メソッドは、専門家のデモンストレーションではなく、失敗するポリシーの軌道から始まります。 GAIA-Text-103とXBench-DeepSearchの実験では、CSOはSFTベースラインよりも37%、相対的に26%改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:41:02Z)
• AgentRx: Diagnosing AI Agent Failures from Execution Trajectories [9.61742219198197]
  構造化されたAPI、インシデント管理、オープンなWeb/ファイルタスクにまたがる115の障害トラジェクトリのベンチマークをリリースする。 各トラジェクトリには、臨界障害ステップと、基底理論から派生したクロスドメイン障害分類のカテゴリが注釈付けされている。 本稿では,ドメインに依存しない自動診断フレームワークであるAgentRXについて述べる。
  論文  参考訳（メタデータ） (2026-02-02T18:54:07Z)
• Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents [22.781523439717223]
  エージェントのパフォーマンスを適切に評価するには、最終回答を超え、問題解決の軌跡も評価する必要がある。 ツール拡張LDMエージェント性能の多次元評価のためのフレームワークであるTRACEを紹介する。 TRACEはこれらの複雑な挙動を,スケーラブルで費用対効果の高い方法で正確に評価する。
  論文  参考訳（メタデータ） (2025-10-03T09:19:15Z)
• CORE: Full-Path Evaluation of LLM Agents Beyond Final State [2.0391237204597368]
  既存のエージェントベンチマークでは、最終状態のバイナリ判断に対する評価を少なくすることが多い。 本稿では,タスクを有効なツール利用経路の集合として符号化する決定論的有限オートマトンに基づくフレームワークを提案する。 CORE(Path Correctness)、Path Correctness(Path Correctness)、Kendall's tau Composite(Kendall's tau Composite)、Prefix Criticality(Prefix Criticality)、Harmful-Call Rate(Harmful-Call Rate)、Efficency(Efficency)の5つのメトリクススイートを紹介します。
  論文  参考訳（メタデータ） (2025-09-25T10:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。