論文の概要: Diagnosing with Insights: Structured Analysis of Agent Failures via Behavioral Abstractions
- arxiv url: http://arxiv.org/abs/2609.02371v1
- Date: Wed, 02 Sep 2026 09:42:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.22039
- Title: Diagnosing with Insights: Structured Analysis of Agent Failures via Behavioral Abstractions
- Title（参考訳）: 洞察と診断:行動抽象化によるエージェント障害の構造解析
- Abstract要約: AgentSCOPEは、エージェント障害モード診断のための新しいニューロシンボリックアプローチである。
AgentSCOPEは, 断層の局所化と属性精度において, 技術の現状を著しく上回っていることを示す。
- 参考スコア（独自算出の注目度）: 11.572825895324236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the proliferation of LLM agents, the ability to understand and diagnose failures in agents is essential to achieving superior effectiveness and trustworthiness. As agent failures often manifest via long and complex trajectories, manually finding the needles in the haystack is untenable. However, traditional diagnosis techniques for software bugs can hardly address LLM agent failures, while completely relying on LLMs as the judge yields unreliable diagnosis results. To overcome these challenges, this paper presents AGENTSCOPE, a new neuro-symbolic approach for agent failure mode diagnosis. The key principle of AGENTSCOPE is to abstract agent behavior, based on its trajectories, into structured representations. Furthermore, AGENTSCOPE introduces the concept of neural invariants to specify agent behavior properties. AGENTSCOPE leverages LLM-guided reasoning atop the structured representation against neural invariants to pinpoint both the failure step and its type in the trajectory. We show the effectiveness of AGENTSCOPE on publicly available agent failure datasets (Who&When) and a more comprehensive dataset created by us (AgentErrata), where AGENTSCOPE significantly outperforms the current state of the art in fault localization and attribution accuracy. Our work shows that integrating structured abstractions with LLM-guided reasoning enables effective, reliable, and interpretable diagnosis for agent failures.
- Abstract（参考訳）: LLM剤の増殖に伴い、薬剤の障害を理解し診断する能力は、優れた有効性と信頼性を達成するために不可欠である。
エージェントの故障は長く複雑な軌道でしばしば現れるため、手動で干し草の殻の針を見つけることは不可能である。
しかしながら、ソフトウェアバグの従来の診断技術は、LCMエージェントの障害に対処することができないが、裁判官が信頼性の低い診断結果を得るため、LSMに完全に依存している。
これらの課題を克服するために,エージェント障害モード診断のための新しいニューロシンボリックアプローチである AgentSCOPE を提案する。
AgentSCOPEの鍵となる原理は、その軌道に基づくエージェントの振る舞いを構造化表現に抽象化することである。
さらに、AgentSCOPEは、エージェントの挙動特性を特定するために、ニューラル不変量の概念を導入している。
AgentSCOPEは、構造的表現上のLLM誘導推論を神経不変量に対して利用し、障害ステップと軌道のタイプの両方をピンポイントする。
我々は,AgentErrataによって作成されたエージェント障害データセット(Who&When)およびより包括的なデータセット(AgentErrata)に対するAgentSCOPEの有効性を示す。
本研究は,LLM誘導推論と構造化抽象化を組み合わせることで,エージェント故障の効果的,信頼性,解釈可能な診断が可能になることを示す。
関連論文リスト
- From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。
本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。
実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
論文 参考訳（メタデータ） (2026-08-27T10:52:06Z) - From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents [75.69180947909148]
大規模言語モデル(LLM)エージェントのためのトラジェクトリレベルのUQフレームワークを提案する。
RuPAは、推論状態、ツールインタラクション、環境フィードバックが時間的およびセマンティックな依存関係エッジで接続されたノードである、指向的なトラジェクトリグラフとして実行履歴を表現している。
我々は,複数のモデルファミリにまたがる6つのオープンソースLCMを用いて,代用エージェントベンチマーク($2, Terminal-Bench-2, GAIA)でRUPAを評価した。
論文 参考訳（メタデータ） (2026-08-17T01:40:14Z) - A Multi-Agent Audit Framework for High-Stakes Reasoning: Evaluation and Interpretability in Clinical Mental Health Screening [0.8758828205574085]
協調的な多段階検証プロセスをシミュレートするマルチエージェント監査フレームワークを提案する。
臨床精神保健検診の感度領域において,このアーキテクチャを実証的に検証した。
本フレームワークは, 推論過程を知覚エージェント, 知識検索生成(RAG), CoT (Chain-of-Thought) 臨床推論, 重要な監査段階に分解する。
論文 参考訳（メタデータ） (2026-06-19T05:51:03Z) - FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。
我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
論文 参考訳（メタデータ） (2026-05-30T15:11:35Z) - VerifyMAS: Hypothesis Verification for Failure Attribution in LLM Multi-Agent Systems [79.51005192758262]
大規模言語モデル駆動型マルチエージェントシステムは複雑なタスクで優れている。
しかし、信頼性の低いエージェントは、システムレベルの信頼性にとって重要なボトルネックである。
本稿では,エージェント故障の帰属に関する仮説検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-17T14:09:35Z) - Towards a Virtual Neuroscientist: Autonomous Neuroimaging Analysis via Multi-Agent Collaboration [53.772014300855375]
我々は,自律型エンドツーエンド神経画像解析のためのマルチエージェントシステムであるNIAgentを紹介する。
従来のフラットなツール呼び出しエージェントとは異なり、NIAgentはコード中心の実行パラダイムを採用している。
本稿では,コホートレベルの検定とエージェント視覚検査を組み合わせた,自律的品質管理のための階層的検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-10T06:30:19Z) - The Bitter Lesson of Diffusion Language Models for Agentic Workflows: A Comprehensive Reality Check [54.08619694620588]
本稿では,2つの異なるエージェントパラダイムであるEmbodied AgentsとTool-Calling AgentsにまたがるdLLMの包括的評価を行う。
Agentboard と BFCL では,現在の dLLM が信頼できるエージェントバックボーンとして機能しないという,"ビットレッスン" が報告されている。
論文 参考訳（メタデータ） (2026-01-19T11:45:39Z) - Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection [76.91230292971115]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は複雑なタスクを解く上で強力な能力を示している。
XG-Guardは、MAS内の悪意のあるエージェントを検出するための、説明可能な、きめ細かい保護フレームワークである。
論文 参考訳（メタデータ） (2025-12-21T13:46:36Z) - Diagnostics of cognitive failures in multi-agent expert systems using dynamic evaluation protocols and subsequent mutation of the processing context [0.0]
この研究は、専門家システムのための診断フレームワークを導入し、評価だけでなく、専門家行動のLSMエージェントへの転送を容易にする。
我々は,多エージェント採用支援システム上での枠組みを実証し,潜在的認知障害を明らかにした。
論文 参考訳（メタデータ） (2025-09-18T19:08:03Z) - LLM-based Agents for Automated Confounder Discovery and Subgroup Analysis in Causal Inference [1.1538255621565348]
本稿では,共同創設者の自動発見とサブグループ分析のための大規模言語モデルに基づくエージェントを提案する。
本フレームワークは,サブグループ識別と構造発見を体系的に行う。
以上の結果から,LSMをベースとしたエージェントは,スケーラブルで信頼性が高く,セマンティックに認識された因果推論へ有望な道をたどることが示唆された。
論文 参考訳（メタデータ） (2025-08-10T07:45:49Z) - CANDLE: A Cross-Modal Agentic Knowledge Distillation Framework for Interpretable Sarcopenia Diagnosis [3.0245458192729466]
CANDLEは、解釈可能性と性能のトレードオフを緩和し、予測精度を高め、高い決定一貫性を維持する。
このフレームワークは、TMLモデルの知識アセット化に対するスケーラブルなアプローチを提供し、サルコピアおよび潜在的に広い医療領域における解釈可能、再現可能、および臨床的に整合した意思決定支援を可能にする。
論文 参考訳（メタデータ） (2025-07-26T15:50:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。