論文の概要: Where MLLMs Fail and Why: Causal Task Decomposition for Capability Failure Diagnosis

• arxiv url: http://arxiv.org/abs/2609.38851v1
• Date: Wed, 30 Sep 2026 03:08:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.065949
• Title: Where MLLMs Fail and Why: Causal Task Decomposition for Capability Failure Diagnosis
• Title（参考訳）: MLLMが機能不全と理由:機能不全診断のための因果タスク分解
• Abstract要約: 構成タスクにおけるエンドツーエンドの精度は、MLLMが失敗する頻度を記録するが、障害がターゲット能力の本質的な欠陥を反映しているか、あるいは上流の前提条件からカスケードエラーを反映しているかを区別することはできない。 CADETは10の複合タスクの診断ベンチマークであり,46の単体タスクに33,000以上の人手による質問を行う。
• 参考スコア（独自算出の注目度）: 20.71517648260357
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: End-to-end accuracy on compositional tasks records how often MLLMs fail, but cannot distinguish whether a failure reflects an intrinsic deficit in the targeted capability or a cascading error from an upstream prerequisite. We propose a causal decomposition framework that isolates these two failure modes through controlled interventions on the prerequisite dependencies of each task. Our capability metrics (NC, IC, RC) score each task under unassisted, correct, or incorrect prerequisites to diagnose where failures arise; contribution metrics (N-Score, S-Score), adapted from probabilities of causation, quantify each prerequisite's necessity and sufficiency to determine why. We instantiate the framework in CADET, a diagnostic benchmark of 10 composite tasks decomposed into 46 unit tasks with over 33,000 human-annotated questions spanning perception, spatial, temporal, and cognitive categories. Diagnosing frontier MLLMs with our framework uncovers systematic patterns that end-to-end accuracy obscures. Capability-wise, supplying correct prerequisites eliminates 54\% of errors on cognitive tasks, lifting them from weakest to above spatial and temporal. Prerequisite-wise, causal contributions are concentrated in a few critical prerequisites, and supplying the single most important one alone captures 84\% of the gain from supplying all prerequisites.
• Abstract（参考訳）: 構成タスクにおけるエンドツーエンドの精度は、MLLMが失敗する頻度を記録するが、障害がターゲット能力の本質的な欠陥を反映しているか、あるいは上流の前提条件からカスケードエラーを反映しているかを区別することはできない。 本稿では,これらの2つの障害モードを,各タスクの前提となる依存関係に対する制御的介入によって分離する因果分解フレームワークを提案する。 我々の能力指標 (NC, IC, RC) は, 障害発生箇所の診断に非支援的, 正しい, あるいは誤った前提条件の下で各タスクをスコアし, 因果関係の確率に適応したコントリビューション指標 (N-Score, S-Score) を用いて, それぞれの前提条件の必要性と満足度を定量化し, 原因を判断する。 CADETでは, 認知, 空間, 時間, 認知のカテゴリにまたがる33,000以上の人称質問を対象とする, 46の単位タスクに分解された10の複合タスクの診断ベンチマークである。 我々のフレームワークでフロンティアMLLMを診断すると、エンドツーエンドの精度が不明瞭な体系的なパターンが明らかになる。 能力面では、正しい前提条件を提供することで、認知タスクのエラーの44%を排除し、それらを最も弱いものから空間的、時間的なものへと引き上げる。 前提条件として、因果関係の貢献はいくつかの重要な前提条件に集中しており、最も重要な条件のみを供給すれば、すべての前提条件の供給から得られる利益の84%を達成できる。

関連論文リスト

• Task-Conditional Faithfulness Auditing of Multimodal LLMs for Grid Diagnosis [5.427346259545067]
  マルチモーダル大言語モデル(LLM)は、トポロジー、測定、インシデントテキストを組み合わせてグリッド診断を行うことができる。 本稿では,タスク条件の忠実度監査を行うための一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2026-07-27T15:17:15Z)
• FALAT: Tracing Failures in LLM Agent Trajectories via Dependency-Guided Search [11.638321375070047]
  LLMエージェントトラジェクトリにおける障害帰属の診断フレームワークであるFALATを提案する。 我々は、アルゴリズム生成と手作りのマルチエージェント障害軌跡を含むWho&WhenベンチマークでFALATを評価する。
  論文  参考訳（メタデータ） (2026-05-30T15:11:35Z)
• EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
  既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。 EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。 ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:19Z)
• Missing-Aware Multimodal Fusion for Unified Microservice Incident Management [22.703696384749595]
  ARMORは、モダリティの欠如を前提とした、自己管理型のフレームワークである。 自己監督型自己回帰とマスク誘導型再構成を用いて、異常検出、障害トリアージ、根本原因の局在を共同で最適化する。 完全なデータ条件下での最先端性能を実現し、厳密なモダリティ損失でも堅牢な診断精度を維持する。
  論文  参考訳（メタデータ） (2026-03-26T15:14:57Z)
• When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
  検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。 エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。 我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:50:38Z)
• Diagnose, Localize, Align: A Full-Stack Framework for Reliable LLM Multi-Agent Systems under Instruction Conflicts [75.20929587906228]
  LLM(Large Language Model)を利用したマルチエージェントシステム(MAS)は、複雑なタスクにおける協調推論、ツールの使用、役割特化調整を急速に進めている。 しかし、信頼性クリティカルなデプロイメントは、体系的な障害モード、すなわち命令の競合による階層的コンプライアンスによって妨げられている。
  論文  参考訳（メタデータ） (2025-09-27T08:43:34Z)
• A Fano-Style Accuracy Upper Bound for LLM Single-Pass Reasoning in Multi-Hop QA [65.38186593873313]
  MHQA(Multi-Hop Question Answering)は、ノイズ下でのシーケンシャルな推論を通じて、分散した相互依存的な証拠を統合する必要がある。 我々はMHQAのための概念実証マルチコールフレームワークをInfoQAで紹介する。 我々は、理論とフレームワークを検証するために、厳密で騒音に富んだベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-09-25T14:11:57Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs [6.862079218077768]
  特定のタスクで大規模言語モデルをテストするのは難しくてコストがかかります。 重要な課題は、タスクの要求を反映した方法で入力精度を評価することである。 タスク固有のプレジェネレーションアプライバシ尺度であるCLOTHOを導入する。
  論文  参考訳（メタデータ） (2025-09-22T02:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。