論文の概要: Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.04683v2
• Date: Fri, 10 Jul 2026 10:34:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.705741
• Title: Does It Fail to See or Fail to Know? Attributing Errors in Vision-Language Models
• Title（参考訳）: 知らないか知らないか? : 視覚言語モデルにおける誤りの帰結
• Abstract要約: 不確実性は、モデルが失敗する可能性を示すだけでなく、なぜ不確実かも診断すべきである。 そこで本研究では,障害発生源の予測に前世代の信号が有効かどうかを検証し,障害発生モードを解消するための統一的なフレームワークを提案する。 我々の主な発見は、認識関連障害が視覚的トーケン表現によって最もよく捉えられるのに対して、認識後に残る障害は、素早い条件で隠された状態によってよりよく捉えられることである。
• 参考スコア（独自算出の注目度）: 33.564453692157095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) perform well on visual question answering with high-quality images but struggle when questions require knowledge beyond what is clearly and directly visible. In such settings, uncertainty quantification should not only indicate whether the model is likely to fail but also diagnose why it is uncertain, across dimensions such as perception, entity recognition, and knowledge retrieval. While prior work has focused on individual failure modes in isolation or treated incorrect answers as monolithic failures, we propose a unified framework for disentangling these failure modes and investigate whether pre-generation signals can predict these failure sources. Across a range of datasets and model families, we find a consistent pattern in VLM errors: some failures arise from visual or recognition bottlenecks, while others persist after the relevant entity is identified. Our main finding is that these failure sources can be predicted before decoding: recognition-related failures are best captured by visual-token representations, while failures that remain after recognition are better captured by prompt-conditioned hidden states. This pre-generation signal enables efficient failure-source prediction before the model produces an answer, allowing uncertain cases to be routed to targeted interventions such as image repair, entity recognition support, or external retrieval.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、高品質な画像で答える視覚的質問に対してよく機能するが、質問が明確かつ直接的に見えるもの以上の知識を必要とする場合に苦労する。 このような設定では、不確実性定量化は、モデルが失敗する可能性を示すだけでなく、認識、実体認識、知識検索といった次元にわたって、なぜ不確実であるかを診断するべきである。 先行研究では、個別の障害モードを分離したり、不正な回答をモノリシックな障害として扱ったりすることに重点を置いているが、我々はこれらの障害モードを解消し、前世代の信号がこれらの障害源を予測できるかどうかを調査するための統一的なフレームワークを提案する。 さまざまなデータセットやモデルファミリにまたがって、VLMエラーには一貫したパターンがある。 我々の主な発見は、これらの障害源は復号する前に予測できるということだ。認識関連障害は視覚的トーケン表現によって最もよく捉えられるが、認識後に残る障害は、即時条件付き隠れ状態によりよりよく捉えられる。 このプリジェネレーション信号は、モデルが回答を生成する前に効率的な失敗ソース予測を可能にし、不確実なケースを画像修復、エンティティ認識支援、外部検索などのターゲットの介入にルーティングする。

関連論文リスト

• MissingBench-Verified: Probing Vision-Language Models' Inability to Detect Missing Object Parts [10.608824155356377]
  MissingBench-Verifiedは、特定の、実用的なシナリオを評価するために設計されたベンチマークである。 外部のツールエビデンスがモデルの視覚的知覚と明確に矛盾している場合でも、一貫性のある、重要な失敗率を観察します。 ツールアシスト検証、自律的な視覚的推論、推論期間の延長、より簡単なデータセットの微調整など、既存の緩和戦略は無視できる改善を提供する。
  論文  参考訳（メタデータ） (2026-07-21T03:43:50Z)
• Can Large Language Models Generate Observability-Aware Code? [51.30941152293301]
  本稿では,エージェント生成システムにおける可観測性に関する系統的研究を行う。 その結果,ソースレベルでの診断的セマンティクスと実行時の障害信号との間には,一貫したギャップがあることが判明した。 本稿では,診断的意味論と故障信号暴露の両方を改善するためのガイダンスとして,可観測性指向のスキルを導入する。
  論文  参考訳（メタデータ） (2026-07-07T03:20:52Z)
• How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures [21.666726162280696]
  言語モデル推論の失敗は、識別可能なシグネチャを推論トレースに残す異なるプロセスを通して現れる。 1つ目は、モデルがそのトレースの早い段階で間違った推論パスにロックされる、コミット失敗である。 第二に、持続的な不確実性は、その代わりに至るところに蓄積され、完全なトレースは、失敗と成功した完了を最もよく区別するために必要である。
  論文  参考訳（メタデータ） (2026-06-04T18:36:42Z)
• Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
  空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。 対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。 各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
  論文  参考訳（メタデータ） (2026-05-28T20:44:47Z)
• Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
  この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。 合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。 我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
  論文  参考訳（メタデータ） (2026-05-28T16:20:29Z)
• FIKA-Bench: From Fine-grained Recognition to Fine-Grained Knowledge Acquisition [54.31138496553705]
  日常生活におけるきめ細かい認識は、しばしばクローズドブックの分類問題ではない。 既存のベンチマークは主に視覚的認識を評価しており、このアクティブな外部知識獲得能力は過小評価されている。 そこでは,システムが外部の証拠を探し,検証し,利用し,オープンエンドのきめ細かい認識質問に答えなければならない,きめ細かな知識獲得について検討する。
  論文  参考訳（メタデータ） (2026-05-13T08:49:51Z)
• The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
  MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる 再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。 本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T02:27:04Z)
• Are vision language models robust to uncertain inputs? [5.249651874118556]
  より新しい視覚言語モデルでは、従来のモデルに比べて頑健性が向上したが、それでも厳密な指示に従う傾向にあることを示す。 ImageNetのような自然なイメージでは、パイプラインの変更なしにこの制限を克服することができる。 モデルの内部不確実性を明らかにするために,キャプションの多様性に基づく新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2025-05-17T03:16:49Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Progressive Alignment with VLM-LLM Feature to Augment Defect Classification for the ASE Dataset [7.1083241462091165]
  従来の欠陥分類アプローチは2つの障壁に直面している。 不十分なトレーニングデータと不安定なデータ品質。 画像上に記録されたリッチなデータ記述を含む,欠陥分類のための特別なデータセットを提案するが,欠陥特徴を直接学習するのは困難である。
  論文  参考訳（メタデータ） (2024-04-08T04:17:27Z)
• Open-Vocabulary Video Anomaly Detection [57.552523669351636]
  監視の弱いビデオ異常検出(VAD)は、ビデオフレームが正常であるか異常であるかを識別するためにビデオレベルラベルを利用する際、顕著な性能を達成した。 近年の研究は、より現実的な、オープンセットのVADに取り組み、異常や正常なビデオから見えない異常を検出することを目的としている。 本稿ではさらに一歩前進し、未確認および未確認の異常を検知・分類するために訓練済みの大規模モデルを活用することを目的とした、オープン語彙ビデオ異常検出(OVVAD)について検討する。
  論文  参考訳（メタデータ） (2023-11-13T02:54:17Z)
• Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
  我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。 我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。 製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2022-06-23T14:16:30Z)
• A Principled Approach to Failure Analysis and Model Repairment: Demonstration in Medical Imaging [12.732665048388041]
  マシンラーニングモデルは通常、デプロイ後の予期せぬ失敗を示す。 私たちは2つの重要な質問に答えることで、このプロセスの標準化と原則の導入を目指しています。 そこで本研究では,タイプ内および型間一般化の測定により,特定された障害タイプの品質を検証できることを示唆する。 我々は,以前に正しいデータの性能を維持しつつ,失敗タイプに対して高い精度を達成できた場合,モデルを修復すると考えることができると論じる。
  論文  参考訳（メタデータ） (2021-09-25T12:04:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。