論文の概要: TRAIL: Trace Reasoning and Agentic Issue Localization

• arxiv url: http://arxiv.org/abs/2505.08638v2
• Date: Mon, 19 May 2025 15:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.659993
• Title: TRAIL: Trace Reasoning and Agentic Issue Localization
• Title（参考訳）: TRAIL:トレース推論とエージェント問題ローカライゼーション
• Authors: Darshan Deshpande, Varun Gangal, Hersh Mehta, Jitin Krishnan, Anand Kannappan, Rebecca Qian,
• Abstract要約: この研究は、エージェントワークフロートレースに対する堅牢でダイナミックな評価方法の必要性を明確に示している。 我々は,この分類法を用いて構築され,確立されたエージェント・ベンチマークに基づいて構築された148個の大型人名跡(TRAIL)について述べる。 生態学的妥当性を確保するため,単一エージェントシステムとマルチエージェントシステムの両方のトレースをキュレートする。
• 参考スコア（独自算出の注目度）: 5.025960714013197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing adoption of agentic workflows across diverse domains brings a critical need to scalably and systematically evaluate the complex traces these systems generate. Current evaluation methods depend on manual, domain-specific human analysis of lengthy workflow traces - an approach that does not scale with the growing complexity and volume of agentic outputs. Error analysis in these settings is further complicated by the interplay of external tool outputs and language model reasoning, making it more challenging than traditional software debugging. In this work, we (1) articulate the need for robust and dynamic evaluation methods for agentic workflow traces, (2) introduce a formal taxonomy of error types encountered in agentic systems, and (3) present a set of 148 large human-annotated traces (TRAIL) constructed using this taxonomy and grounded in established agentic benchmarks. To ensure ecological validity, we curate traces from both single and multi-agent systems, focusing on real-world applications such as software engineering and open-world information retrieval. Our evaluations reveal that modern long context LLMs perform poorly at trace debugging, with the best Gemini-2.5-pro model scoring a mere 11% on TRAIL. Our dataset and code are made publicly available to support and accelerate future research in scalable evaluation for agentic workflows.
• Abstract（参考訳）: 多様なドメインにまたがるエージェントワークフローの採用の増加は、これらのシステムが生み出す複雑なトレースを、適切に体系的に評価する重要な必要性をもたらします。 現在の評価方法は、時間的ワークフロートレースの、手動で、ドメイン固有の人的分析に依存します。 これらの設定におけるエラー解析は、外部ツール出力と言語モデル推論の相互作用によってさらに複雑になるため、従来のソフトウェアデバッグよりも難しい。 本研究では,(1)エージェント・ワークフロー・トレースに対するロバストかつ動的評価手法の必要性を明確にし,(2)エージェント・システムで遭遇するエラータイプの形式的分類を導入し,(3)この分類を用いて構築され,確立されたエージェント・ベンチマークに基づいた148個の大規模な人為的注釈付きトレース(TRAIL)を提示する。 生態学的妥当性を確保するため,ソフトウェア工学やオープンワールド情報検索といった実世界の応用に焦点を当て,シングルエージェントシステムとマルチエージェントシステムの両方からのトレースをキュレートする。 評価の結果,現代の長期LLMはトレースデバッギングでは性能が悪く,最も優れたGemini-2.5-proモデルはTRAILで11%であった。 私たちのデータセットとコードは公開されており、エージェントワークフローのスケーラブルな評価における将来の研究を支援し、加速します。

関連論文リスト

• Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
  より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。 当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。 当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
  論文  参考訳（メタデータ） (2025-03-31T07:31:32Z)
• Factored Agents: Decoupling In-Context Learning and Memorization for Robust Tool Use [4.437184840125514]
  本稿ではエージェントAIにおける従来の単一エージェントシステムの限界を克服する新しいファクターエージェントアーキテクチャを提案する。 提案手法はエージェントを,(1)高レベルプランナーおよびインコンテキスト学習者として機能する大規模言語モデル,(2)ツールフォーマットと出力の記憶器として機能する小型言語モデルに分解する。 経験的評価により,本アーキテクチャは,テキスト内学習と静的記憶のトレードオフを解明しつつ,計画精度と誤り回復性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-03-29T01:27:11Z)
• Large Language Models as Realistic Microservice Trace Generators [54.85489678342595]
  ワークロードトレースは、複雑なコンピュータシステムの振る舞いを理解し、処理とメモリリソースを管理するために不可欠である。 本稿では,大規模言語モデルを用いて合成ワークロードトレースを生成する手法を提案する。 我々のモデルは、キートレースの特徴を予測したり、欠落したデータを埋め込んだりといった、下流のトレース関連タスクに適応する。
  論文  参考訳（メタデータ） (2024-12-16T12:48:04Z)
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials [53.376263056033046]
  既存のアプローチは高価な人間のアノテーションに依存しており、大規模には持続不可能である。 本稿では,Webエージェントトラジェクトリを生成するスケーラブルなデータ合成パイプラインであるAgentTrekを提案する。 完全に自動化されたアプローチは、データ収集コストを大幅に削減し、人間のアノテータを使わずに、高品質な軌道を0.55ドルに抑えることができます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:27Z)
• SWE-Search: Enhancing Software Agents with Monte Carlo Tree Search and Iterative Refinement [18.84439000902905]
  現在の大規模言語モデル(LLM)ベースのソフトウェアエージェントは、しばしば線形でシーケンシャルなプロセスに従う。 モンテカルロ木探索(MCTS)と自己改善機構を統合したマルチエージェントフレームワークであるSWE-Searchを提案する。 これは、複雑なソフトウェアエンジニアリング環境における自己評価駆動検索技術の可能性を強調している。
  論文  参考訳（メタデータ） (2024-10-26T22:45:56Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。