論文の概要: Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures
- arxiv url: http://arxiv.org/abs/2609.13463v1
- Date: Fri, 11 Sep 2026 19:29:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.329874
- Title: Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures
- Title(参考訳): Root-Cause属性は検索の問題:長期にわたるエージェント障害の継続的な検索
- Abstract要約: 既存のルート起因属性法は, 実行トレースが大きくなるにつれて, 診断精度が低下する。
連続検索は、連続的に、未解決の診断証拠を探し続けるよう裁判官に訴える。
MegaRCA-Mixは、長期にわたる実行負荷の多いタスクにまたがる50の人為的な障害試験の挑戦的なテストベッドを提供する。
- 参考スコア(独自算出の注目度): 11.365690419023425
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing deployment of AI agents in long-horizon tasks yields massive execution logs. Diagnosing failures within these records is crucial for reliability, as it transforms outcome-level signals into actionable interventions. The sheer scale of the data renders human review impractical, driving the need for automated root-cause attribution (RCA). However, automated RCA methods using LLMs suffer from low diagnostic accuracy, especially as execution traces grow larger. They struggle because relevant information is often sparse, distributed across distant actions, and disconnected from the visible failure, reducing root-cause attribution to a massive search problem. Existing RCA methods typically rely on one-shot LLM judgments to diagnose failures from execution traces. While effective for shorter trajectories, these judges tend to settle on a plausible diagnosis early, leaving critical evidence in longer traces unexamined. We introduce Continual Search, an iterative framework that nudges the judge, over successive turns, to keep searching for unresolved diagnostic evidence. We evaluate Continual Search across four existing RCA benchmarks. Recognizing the lack of massive execution traces in current benchmarks, we introduce MegaRCA-Mix to evaluate RCA at scale. MegaRCA-Mix provides a challenging testbed of 50 human-annotated failure trials spanning long-horizon, execution-heavy tasks. Across multiple benchmark suites and model families, Continual Search consistently improves attribution performance. On MegaRCA-Mix, for example, it improves GPT-5.5's F1 score by more than 40\%, from $0.349$ to $0.498$. More interestingly, within the same model family, lower-tier models can even surpass their higher-tier counterparts, demonstrating that effective search supersedes raw model scale.
- Abstract(参考訳): 長期タスクにおけるAIエージェントのデプロイの増加は、大規模な実行ログを生み出します。
これらのレコード内の障害の診断は、結果レベルの信号を実行可能な介入に変換するため、信頼性に不可欠である。
データの厳密なスケールは人間のレビューを非現実的なものにし、自動化された根起因帰属(RCA)の必要性を喚起する。
しかし,LSMを用いた自動RCA法は,特に実行トレースが大きくなると,診断精度が低下する。
関係する情報は、しばしば疎外され、遠くの行動に分散し、目に見える失敗から切り離されるため、巨大な検索問題への根本原因の帰結を減少させる。
既存のRCAメソッドは通常、実行トレースから障害を診断するために、ワンショットのLCM判定に依存している。
短い軌跡には効果があるが、これらの裁判官は早期に妥当な診断に固執する傾向があり、重要な証拠を長い痕跡に残す。
本稿では,未解決の診断証拠の探索を続けるために,連続的検索(Continual Search)を紹介した。
既存のRCAの4つのベンチマークで連続探索を評価した。
現在のベンチマークに大量の実行トレースがないことを認識して,大規模RCAを評価するためにMegaRCA-Mixを導入する。
MegaRCA-Mixは、長期にわたる実行負荷の多いタスクにまたがる50の人為的な障害試験の挑戦的なテストベッドを提供する。
複数のベンチマークスイートとモデルファミリにまたがって、Continual Searchはコントリビューションパフォーマンスを継続的に改善する。
例えばMegaRCA-Mixでは、GPT-5.5のF1スコアを0.349ドルから0.498ドルに40\%以上改善している。
さらに興味深いことに、同じモデルファミリー内では、低層モデルが上位層モデルを超え、効果的な検索が生モデルスケールに取って代わることを示した。
関連論文リスト
- RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases [58.92094935632493]
大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、研究の関心の変化を追跡する能力は評価が難しい。
278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。
それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。
論文 参考訳(メタデータ) (2026-09-09T12:15:14Z) - Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis [13.865176720288938]
我々は,根本原因分析(RCA)の性能評価にトラジェクトリレベルのフレームワークを用いる。
回答の正しさと診断の質の間には不一致がある。
私たちはこの分類を,2段階のディフェンス・イン・ディープスアーキテクチャであるDiagGuardとして運用しています。
論文 参考訳(メタデータ) (2026-08-21T17:13:45Z) - ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。
それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。
標準的なテスト時間スケーリングよりも精度が一貫して向上する。
論文 参考訳(メタデータ) (2026-08-11T13:58:07Z) - SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。
SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。
本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文 参考訳(メタデータ) (2026-08-05T09:09:00Z) - AREX: Towards a Recursively Self-Improving Agent for Deep Research [75.96468303743958]
本稿では,再帰的自己改善型ディープリサーチエージェントであるAREXを紹介する。
AREXは、証拠を集め、暫定的な回答を構築する内部研究ループを交互に構成する。
我々は,エージェント学習と長期強化学習を通じて,AREXを検証済みの合成タスクと高品質な軌道上で訓練する。
論文 参考訳(メタデータ) (2026-07-23T16:05:46Z) - Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation [7.095219140870008]
既存の評価は主に最終回答の精度に重点を置いており、探索軌道の失敗を見逃す可能性がある。
本報告では,ショートカット,ファントム接地,不正証拠権訴訟,オーバー・レトリーバル・ロンダリング,クロス・モーダル・コンフリクション,証明を対象とする6カテゴリーの分類を紹介した。
統合されたReActスタイルの足場の下で,回答の正しさと証拠地上品質の両方を評価する軌道レベルの診断パイプラインを構築した。
論文 参考訳(メタデータ) (2026-07-22T06:19:06Z) - Anomaly Detection and Root Cause Analysis for Microservice Systems [0.0]
マイクロサービスシステムは、クラウドアプリケーションを構築するために広く使われていますが、その複雑さにより、障害は避けられません。
この論文は、マイクロサービスの障害に対する自動異常検出と根本原因分析を前進させる。
論文 参考訳(メタデータ) (2026-06-08T00:50:43Z) - Stalled, Biased, and Confused: Uncovering Reasoning Failures in LLMs for Cloud-Based Root Cause Analysis [5.532586951580959]
LLMの推論動作を分離する実験的な評価手法を提案する。
我々は16の共通RCA推論失敗の分類をラベル付きで作成し、アノテーションにLLM-as-a-Judgeを使用する。
論文 参考訳(メタデータ) (2026-01-29T18:23:26Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳(メタデータ) (2025-10-01T07:59:03Z) - GALA: Can Graph-Augmented Large Language Model Agentic Workflows Elevate Root Cause Analysis? [9.394057684388027]
本稿では,マイクロサービスシステムにおける根本原因分析の新しいフレームワークであるGALAを紹介する。
GALAはオープンソースのベンチマークで評価され、最先端のメソッドよりも大幅に改善されている。
GALAは自動故障診断と実用的なインシデント解決のギャップを埋めることを示す。
論文 参考訳(メタデータ) (2025-08-17T19:12:05Z) - Disentangled Causal Graph Learning for Online Unsupervised Root Cause
Analysis [49.910053255238566]
ルート原因分析(RCA)は、システム監視データを分析することにより、システム障害/障害の根本原因を特定することができる。
従来の研究は主にオフラインのRCAアルゴリズムの開発に重点を置いており、しばしば手動でRCAプロセスを開始する必要がある。
我々は、RCAプロセスを自動的に起動し、RCAモデルを漸進的に更新できる新しいオンラインRCAフレームワークであるCORALを提案する。
論文 参考訳(メタデータ) (2023-05-18T01:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。