論文の概要: Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation

• arxiv url: http://arxiv.org/abs/2607.19793v1
• Date: Wed, 22 Jul 2026 06:19:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.990497
• Title: Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation
• Title（参考訳）: マルチモーダルエージェントサーチにおける無声障害:診断分類とクロスジャッジ評価
• Abstract要約: 既存の評価は主に最終回答の精度に重点を置いており、探索軌道の失敗を見逃す可能性がある。 本報告では,ショートカット,ファントム接地,不正証拠権訴訟,オーバー・レトリーバル・ロンダリング,クロス・モーダル・コンフリクション,証明を対象とする6カテゴリーの分類を紹介した。 統合されたReActスタイルの足場の下で,回答の正しさと証拠地上品質の両方を評価する軌道レベルの診断パイプラインを構築した。
• 参考スコア（独自算出の注目度）: 7.095219140870008
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal agentic search systems increasingly rely on external tools to answer knowledge-intensive visual questions. However, existing evaluations mainly focus on final-answer accuracy and may miss failures in the search trajectory. In this work, we study such hidden reliability issues as silent failures. We introduce a six-category taxonomy covering modality shortcuts, phantom grounding, wrong-evidence-right-answer cases, over-retrieval laundering, cross-modal contradiction, and provenance hallucination. Based on this taxonomy, we build a trajectory-level diagnostic pipeline that evaluates both answer correctness and evidence-grounding quality under a unified ReAct-style scaffold. Experiments on MMSearch-Plus trajectories across four frontier multimodal models show that surface accuracy consistently overestimates true trajectory-level correctness. We further use cross-judge validation, blank-image stress tests, and tool ablations to show that silent failures are capability-dependent and often shift rather than disappear. Home-page: https://github.com/DingWu1021/silent-failures-multimodal-agentic-search
• Abstract（参考訳）: マルチモーダルエージェントサーチシステムは、知識集約的な視覚的疑問に答えるために、外部ツールに依存している。 しかし、既存の評価は主に最終回答精度に重点を置いており、探索軌道の失敗を見逃す可能性がある。 本研究では,無音障害などの隠れた信頼性問題について検討する。 本報告では,モダリティショートカット,幻の接地,誤証拠・右問答事件,過度に検索可能な洗浄,相互の矛盾,幻覚を対象とする6カテゴリーの分類法を紹介した。 この分類に基づいて、我々は、ReActスタイルの足場を統一した足場の下で、答えの正しさと証拠の接地品質の両方を評価する軌道レベルの診断パイプラインを構築した。 4つのフロンティア・マルチモーダルモデルに対するMMSearch-Plus軌道実験は、表面精度が真の軌道レベルの正しさを常に過大評価していることを示している。 さらに、クロスジャッジバリデーション、空白イメージのストレステスト、ツールアブリデーションを使用して、サイレント障害が機能依存であり、消えるのではなく、しばしばシフトしていることを示す。 ホームページ:https://github.com/DingWu1021/silent-failures-multimodal-agentic-search

関連論文リスト

• Root-Cause Attribution Is a Search Problem: Continual Search for Long-Horizon Agent Failures [11.365690419023425]
  既存のルート起因属性法は, 実行トレースが大きくなるにつれて, 診断精度が低下する。 連続検索は、連続的に、未解決の診断証拠を探し続けるよう裁判官に訴える。 MegaRCA-Mixは、長期にわたる実行負荷の多いタスクにまたがる50の人為的な障害試験の挑戦的なテストベッドを提供する。
  論文  参考訳（メタデータ） (2026-09-11T19:29:21Z)
• SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
  我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。 本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
  論文  参考訳（メタデータ） (2026-08-05T09:09:00Z)
• Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
  ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。 本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。 我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
  論文  参考訳（メタデータ） (2026-08-03T08:46:48Z)
• HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning [14.484579581234327]
  マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。 根、中、終端位相の3つの解答不可能な原因を横切る。 本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
  論文  参考訳（メタデータ） (2026-08-02T16:20:55Z)
• AREX: Towards a Recursively Self-Improving Agent for Deep Research [75.96468303743958]
  本稿では,再帰的自己改善型ディープリサーチエージェントであるAREXを紹介する。 AREXは、証拠を集め、暫定的な回答を構築する内部研究ループを交互に構成する。 我々は,エージェント学習と長期強化学習を通じて,AREXを検証済みの合成タスクと高品質な軌道上で訓練する。
  論文  参考訳（メタデータ） (2026-07-23T16:05:46Z)
• Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
  Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。 本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:45:16Z)
• When Is Enough Not Enough? Illusory Completion in Search Agents [56.98225130959051]
  検索エージェントが、複数の条件をトラッキングし、検証し、維持することで、すべての要件に対して確実に理性性を持たせるかどうかを調査する。 エージェントは、未解決の制約や違反の制約にもかかわらずタスクが完了したと信じており、未検証の回答につながる。 我々は、実行中の明示的な制約状態追跡が、推論時トラッカーであるLiveLedgerを介してこれらの障害を緩和するかどうかを検討する。
  論文  参考訳（メタデータ） (2026-02-07T13:50:38Z)
• CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution [20.823419395675412]
  CrossCheck-Benchは、マルチモーダル入力における矛盾検出を評価するための診断ベンチマークである。 タスクが知覚的マッチングから論理的矛盾検出に移行するにつれて、13の最先端の視覚言語モデルを評価し、一貫した性能低下を観察する。
  論文  参考訳（メタデータ） (2025-11-19T12:17:15Z)
• Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
  We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。 25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。 私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
  論文  参考訳（メタデータ） (2025-10-01T07:59:03Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [89.92916473403108]
  本稿では,新しい手法のモジュラーフレームワークであるADerの総合的な視覚異常検出ベンチマークを提案する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning [51.07496081296863]
  我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。 本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。 我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
  論文  参考訳（メタデータ） (2022-05-16T04:24:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。