論文の概要: TraceBench: Controlled Evaluation of LLM Agents for Time-Series Root-Cause Attribution

• arxiv url: http://arxiv.org/abs/2608.27182v1
• Date: Thu, 27 Aug 2026 14:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.447549
• Title: TraceBench: Controlled Evaluation of LLM Agents for Time-Series Root-Cause Attribution
• Title（参考訳）: TraceBench: 時系列根管用LDM剤の寄与評価
• Abstract要約: 制御根起因帰属タスクを生成するフレームワークであるTraceBenchを紹介する。 我々は3つの解釈可能な機械システムからタスクを生成し、制御された実験条件で4つのLLMエージェントを評価する。 以上の結果から,エージェントはドメインコンテキストから大きく恩恵を受け,主に数値コンソール出力を通じてデータを探索できることがわかった。
• 参考スコア（独自算出の注目度）: 24.197480106376943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are increasingly applied to anomaly detection and root-cause analysis in time-series observations collected from real-world systems; however, their performance on these tasks has not been systematically evaluated under controlled conditions. We introduce TraceBench, a simulation-based framework for generating controlled root-cause attribution tasks. In each generated task, an agent receives time-series observations produced by simulating a physical dynamical system and must determine whether a system parameter was altered during the simulation and, if so, which one. Using TraceBench, we generate tasks from three interpretable mechanical systems and systematically evaluate four LLM agents across controlled experimental conditions, yielding new insights into how these agents analyze time-series observations from dynamical systems. Our results show that agents benefit substantially from domain context and explore data primarily through numerical console output rather than visualizations. We also find that agents generally perform worse when required to produce a Python script that maps each time-series sample to a predicted root-cause label than when they submit predictions directly. We release our datasets, agent trajectories, experimental results, and a leaderboard on our website, tracebench.github.io.
• Abstract（参考訳）: LLMエージェントは実世界のシステムから収集された時系列観測における異常検出や根本原因解析にますます応用されているが、これらのタスクにおける性能は制御された条件下で体系的に評価されていない。 制御根起因帰属タスクを生成するためのシミュレーションベースのフレームワークであるTraceBenchを紹介する。 生成された各タスクにおいて、エージェントは物理力学系をシミュレートした時系列観察を受け、シミュレーション中にシステムパラメータが変更されたかどうかを判断する必要がある。 TraceBenchを用いて、3つの解釈可能な機械システムからタスクを生成し、4つのLCMエージェントを制御された実験条件で体系的に評価し、これらのエージェントが動的システムから時系列観測をどのように分析するかの新しい知見を得る。 この結果から,エージェントはドメインコンテキストから大きく恩恵を受け,可視化ではなく数値コンソール出力によってデータを探索できることがわかった。 また、エージェントは、予測されたルート起因ラベルに各時系列サンプルをマッピングするPythonスクリプトを作成する必要がある場合、直接予測を提出する時よりも、一般的に、パフォーマンスが悪くなることもわかりました。 データセット、エージェントトラジェクトリ、実験結果、およびウェブサイトのリーダーボードである tracebench.github.io をリリースしました。

関連論文リスト

• LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications [76.41731220830714]
  大規模言語モデル(LLM)は、言語ベースの推論と時間的データ、エビデンス検索、外部ツール、反復予測を組み合わせた予測システムをサポートするようになった。 ファイナンス、天気、健康、エネルギー、オペレーションの応用について検討し、評価に使用されるベンチマークとデータセットを要約する。
  論文  参考訳（メタデータ） (2026-08-24T10:02:39Z)
• AgentHPOBench: A Benchmark For Evaluating LLM Agents as Sequential Hyperparameter Optimizers [39.39345650320786]
  AgentHPOBenchは、7つの研究カテゴリにわたる30の実行可能な機械学習タスクからなる逐次ベンチマークである。 広範に使用されている12のエージェントと従来型のHPOベースラインを統一プロトコルで評価した。 その結果、現在のエージェントは、ドメイン間で測定可能な実験最適化能力を示すが、継続的改善、複雑なログ診断、報告された参照性能への一貫した進歩において、明確な制限に直面していることがわかった。
  論文  参考訳（メタデータ） (2026-07-31T16:58:00Z)
• PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
  我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。 セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。 SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。 ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
  論文  参考訳（メタデータ） (2026-07-18T04:46:53Z)
• ReactSim-Bench: Benchmarking Reactive Behavior World Model Simulation in Autonomous Driving [56.96697737229895]
  リアクティブ能力は、自律運転シミュレーションシステムのためのデータ駆動行動世界モデルシミュレータの重要な特性である。 本稿では,自律運転における行動世界モデルシミュレーションの反応性を評価するためのReactSim-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-06-12T03:11:06Z)
• Characterization of Multi-Model Agentic AI Systems on General Tasks via Trace-Driven Simulation [16.378414807882603]
  本稿では、2つの最先端エージェントシステムのトークンレベルトレースデータセットであるGAIATraceについて述べる。 GAIATraceは、すべての主要なLLMの完全な推論トークン、タスクレベル構造、アクティビティをキャプチャする。 また、GAIATraceを再生して再現可能で低コストなシステム評価を行うトレース駆動シミュレータVidur-Agentを提案する。
  論文  参考訳（メタデータ） (2026-06-01T05:43:16Z)
• VESTA: Visual Exploration with Statistical Tool Agents [56.76643750765825]
  VESTA: 統計ツールエージェントを用いたビジュアル探索について紹介する。 VESTAの動的ツール生成は、以前のエージェントパイプラインよりも優れていることを示す。 また,分散フィッティングと時系列を対象とするベンチマークであるDAWNについても紹介する。
  論文  参考訳（メタデータ） (2026-05-29T21:57:37Z)
• Monitoring Data-aware Temporal Properties (Extended Version) [56.386411908764494]
  有限トレース上の任意のSMT理論に富む線形時間特性の予測モニタリングについて考察する。 この設定での予測モニタリングは非常に困難であり、監視状態はこれまでのトレースプレフィックスと可能な有限継続の両方に依存している。 本研究は,表現的フラグメントオフMTにおける特性モニタリングのための新しい基礎的枠組みの正しさを提示し,正式に証明するものである。
  論文  参考訳（メタデータ） (2026-05-14T10:23:11Z)
• Collider-Bench: Benchmarking AI Agents with Particle Physics Analysis Reproduction [0.02446672595462589]
  我々は,LHC(Large Hadron Collider)から,公開論文とオープンサイエンスソフトウェアのみを用いて,言語モデルエージェントが実験分析を再現できるかどうかを評価するベンチマークであるCollind-Benchを紹介する。 したがってエージェントは、これらのギャップを埋めるために、物理的推論、ドメイン知識、試行錯誤に頼らなければならない。 以上の結果から, 平均的なエージェントが, ループ内解法を確実に打ち負かすことは不可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T18:00:00Z)
• AJ-Bench: Benchmarking Agent-as-a-Judge for Environment-Aware Evaluation [71.49152943451328]
  我々は,AJ-Benchベンチマークを導入し,ドメイン検索,データシステム,グラフィカルユーザインタフェースの3つの領域にまたがるエージェント・アズ・ア・Judgeを評価する。 実験ではLLM-as-a-Judgeベースラインよりも一貫したパフォーマンス向上を示し、エージェントベースの検証においてかなりオープンな課題を明らかにした。
  論文  参考訳（メタデータ） (2026-04-20T13:23:38Z)
• Constitutional Black-Box Monitoring for Scheming in LLM Agents [1.4619913143519836]
  我々は言語モデルを用いて不審な行為に対するエージェントの行動を調べる。 本研究では,外部観測可能な入力と出力のみを用いて,スケジューリングを検出する構成的ブラックボックスモニタについて検討する。 我々の設定では、より広範な最適化の結果と一致する単純なプロンプトスイープによって、パフォーマンスが急速に飽和していることが分かりました。
  論文  参考訳（メタデータ） (2026-02-28T22:31:32Z)
• TS-Agent: A Time Series Reasoning Agent with Iterative Statistical Insight Gathering [16.95452463476229]
  大規模言語モデル(LLM)のための時系列推論エージェントTS-Agentを提案する。 時系列をテキストトークン、画像、埋め込みにマッピングする代わりに、我々のエージェントは原子演算子を介して生の数値列と相互作用する。 実験の結果,TS-Agent は理解ベンチマークの最先端 LLM に匹敵する性能を達成できた。
  論文  参考訳（メタデータ） (2025-10-08T18:31:53Z)
• MLAgentBench: Evaluating Language Agents on Machine Learning Experimentation [96.71370747681078]
  我々は,CIFAR-10におけるモデル性能の改善から,BabyLMのような最近の研究課題まで,13のタスクからなるMLAgentBenchを紹介した。 各タスクに対して、エージェントはファイルの読み書き、コードの実行、出力の検査などのアクションを実行することができる。 我々は、Claude v1.0、Claude v2.1、Claude v3 Opus、GPT-4、GPT-4-turbo、Gemini-Pro、Mixtralに基づいてベンチマークエージェントをベンチマークし、Claude v3 Opusエージェントが成功率の点で最高であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T04:06:12Z)
• Self-Supervised Representation Learning from Temporal Ordering of Automated Driving Sequences [49.91741677556553]
  本研究では、認識タスクのための地域レベルの特徴表現を事前学習するための時間順述前文タスクであるTempOを提案する。 我々は各フレームを、オブジェクト検出やトラッキングシステムにとって自然な表現である、未順序な特徴ベクトルのセットで埋め込む。 BDD100K、nu Images、MOT17データセットの大規模な評価は、私たちのTempO事前学習アプローチがシングルフレームの自己教師型学習方法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-02-17T18:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。