論文の概要: When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2608.20627v1
• Date: Thu, 20 Aug 2026 23:56:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.280805
• Title: When Failures Propagate: Causal Failure Attribution in Agentic Retrieval-Augmented Generation
• Title（参考訳）: 障害が進行する際の因果的障害の帰結
• Abstract要約: AgenticRAG-FPは、エージェントRAGにおける因果障害帰属の介入ベンチマークである。 ベンチマークは、指定されたホップで認定された障害を注入し、下流の軌道を再実行し、既知の介入に対する診断を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic retrieval-augmented generation (RAG) interleaves retrieval, reasoning, and answer generation across multiple hops. A retrieval error at hop 1 can surface only as a wrong answer at hop 3, while later retrieval can also repair the trajectory. This paper introduces AgenticRAG-FP, an interventional benchmark for causal failure attribution in agentic RAG. The benchmark injects a certified fault at a specified hop, re-executes the downstream trajectory, and evaluates diagnosers against the known intervention. Its central question is whether a post-hoc trace still identifies the injected hop after the suffix changes. In the completed strict dense Claude Haiku 4.5 sweep on 80 three-hop MuSiQue questions, coverage-based diagnosis is 0.91 at hop 1 and 0.00 at hops 2 and 3 (n=43,36,21 failed trajectories). A smaller content-corruption study changes an answer-bearing or bridge fact in topically intact evidence. At depth 2, where 18 failed cases remain after filtering, coverage-based diagnosis is 0.00 and a frozen-hop counterfactual probe is 0.67 in an exploratory pooled comparison. Depth-3 content estimates are descriptive only because they contain three failed cases. These results make propagation depth an explicit evaluation axis for diagnosing agentic RAG failures while distinguishing broad evidence of post-hoc signal loss from small-sample method comparisons.
• Abstract（参考訳）: エージェント検索強化生成(RAG)は、検索、推論、回答生成を複数のホップでインターリーブする。 ホップ1での検索誤差はホップ3での間違った回答としてのみ表面化でき、後続の検索でも軌道を修復することができる。 本稿では,エージェントRAGにおける因果的障害属性の介入ベンチマークであるAgenicRAG-FPを紹介する。 ベンチマークは、指定されたホップで認定された障害を注入し、下流の軌道を再実行し、既知の介入に対する診断を評価する。 その中心的な問題は、接尾辞が変化した後でも、ポストホップの痕跡が注射されたホップを識別するかどうかである。 厳密なクロード・ハイク 4.5 が80個の三脚の MuSiQue 質問を網羅し、カバーベース診断はホップ1で0.91、ホップ2と3で0.00である(n=43,36,21)。 コンテンツ破壊に関するより小さな研究は、答えを持つ事実や橋渡し事実を、全体的無傷な証拠で変化させる。 深度2では、18件のケースがフィルター処理後に残され、カバーベース診断は0.00、凍結ホップ反事実プローブは0.67である。 深さ3のコンテンツ推定は、3つの失敗したケースを含むためのみ記述可能である。 これらの結果から, 伝播深度はエージェントRAG障害の診断のための明らかな評価軸となり, ポストホック信号損失の広い証拠を小サンプル法と比較した。

関連論文リスト

• OrchestraBench: Evaluating Multi-Agent Orchestration Failure Modes, Recovery, and Decomposition Quality [0.0]
  OrchestraBenchは、テンプレート化されたエンタープライズ上で、制御された、シード再現可能な障害注入ハーネスを通じて、障害、リカバリ、分解を評価する。 主要な指標としてカスケード半径とフェイルモード毎のリカバリを導入し、ルーティングポリシをブートストラップの信頼性間隔とペアテストと比較する。
  論文  参考訳（メタデータ） (2026-08-05T17:27:15Z)
• Same Evidence, Different Target: Decoding How Diagnostic Evidence Bears on Causal Questions from Language-Model States [7.032871370232397]
  因果的目標を変更しながら,同一の診断的証拠を口頭で繰り返し示すペアプロンプトを導入する。 それぞれのプロンプトは、証拠が因果問題にどのように耐えられるかに応じて、Favors、Challenges、Unresolved、Wrong Targetと呼ばれる。 我々はQwen2.5-7B-インストラクタの直交変圧器ブロックから最終トーケン隠れ状態を分析する。
  論文  参考訳（メタデータ） (2026-07-29T13:56:37Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Can LLMs Really Recover Microservice Failures? A Recovery-Aware Evaluation of Diagnosis-to-Action Reasoning [48.22526014304726]
  本稿では,診断後インシデント応答に対するリカバリアクション評価フレームワークであるR2Actについて述べる。 R2Actはインシデントスキーマ、品質ゲート、アクション空間表現、リカバリ妥当性メトリクス、オフライン評価器、ライブ再生プロトコルを定義する。 システムから品質監査されたインシデント302件のベンチマークデータセットとして、このフレームワークをインスタンス化する。
  論文  参考訳（メタデータ） (2026-07-06T03:05:17Z)
• Detecting Hallucinations in Retrieval-Augmented Generation through Grounding-Aware Sensitivity by Perturbation (GASP) [1.827510863075184]
  Grounding-Aware Sensitivity by Perturbation (GASP) は、抽出された証拠にどれだけ強く依存するかによって、各回答文をスコアするスパンレベル検出器である。 GASPは、完全なコンテキスト下で修正され、コンテキストなしで再スコアされ、各チャンクが削除された後、ログライクなドロップとJensen-Shannonの発散を測定する。 2つのモデルファミリーの3つのインストラクションチューニングスコアを用いた3つのベンチマーク(RAGTruth, TofuEval, RAGBench)でGASPを評価する。
  論文  参考訳（メタデータ） (2026-07-05T10:35:30Z)
• When Confidence Takes the Wrong Path: Diagnosing Retrieval-State Lock-In in RAG [0.0]
  多くのブラックボックスの不確実性法は、まだサンプル回答間の合意を自信として読んでいる。 問題は、デプロイされたRAGで認識されるが、名前、測定可能なシグネチャ、および有病率境界が欠落している。 故障検索状態のロックインを命名し、3つのオブジェクトを1つの信頼スコアが混在して診断する。
  論文  参考訳（メタデータ） (2026-06-22T00:08:00Z)
• Where Do Deep-Research Agents Go Wrong? Span-Level Error Localization in Agent Trajectories [51.22051230894794]
  最終回答に基づく評価は、エージェントが成功するかどうかを示すが、どの部分の軌道が答えを信頼できないかを示すものではない。 2つのエージェントフレームワーク、3つのバックボーンモデル、3つのベンチマークから2,790の実際のトラジェクトリを収集し、生ログをセマンティックスパンに変換し、エキスパートレビューを通じて有害なエラースパンを注釈付けします。 我々は,エージェントの主張を追跡するクレーム中心の監査フレームワークであるDRIFTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T10:50:26Z)
• What Are We Actually Decoding? Source Attribution for Non-Invasive Brain-to-Language Retrieval [42.66754319854329]
  我々は,刺激同期MEG-to-audio検索を監査フレームワークとして再放送した。 構造的ショートカット、ウィンドウレベルの刺激ロックされたエビデンス、ウィンドウ間のコンテキストアグリゲーションを使用します。 これらの結果は、脳から言語へのパフォーマンスは、単に報告されるのではなく、ソース属性であるべきだことを示唆している。
  論文  参考訳（メタデータ） (2026-05-23T11:23:39Z)
• Does RAG Know When Retrieval Is Wrong? Diagnosing Context Compliance under Knowledge Conflict [7.091145002779077]
  文脈駆動分解(英: Context-Driven Decomposition、CDD)は、推論時に動作する信念分解プローブである。 制御された検索競合の介入メカニズムとして機能する。 これら3つのパターンは、標準的なRAGを探索できる構造軸としてコンテキスト準拠を識別する。
  論文  参考訳（メタデータ） (2026-05-14T07:14:19Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• Hide and Seek with LLMs: An Adversarial Game for Sneaky Error Generation and Self-Improving Diagnosis [51.88592148135258]
  本稿では,エラー生成と診断のための動的対向フレームワークであるHie and Seek Game (HSG)を提案する。 HSGには2つの敵対的役割がある: Sneakyは、微妙で偽りの推論エラーを発生させることで「隠す」ことと、それらを正確に検出するために「探す」診断である。 いくつかの数学推論タスクの実験では、HSGはエラー診断を著しく向上し、GPT-4oのようなベースラインよりも16.8%--31.4%高い精度を達成している。
  論文  参考訳（メタデータ） (2025-08-05T12:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。