論文の概要: OccludeBench: Can VLMs Find What's Missing?

• arxiv url: http://arxiv.org/abs/2610.13790v1
• Date: Fri, 09 Oct 2026 16:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.680547
• Title: OccludeBench: Can VLMs Find What's Missing?
• Title（参考訳）: OccludeBench: VLMは見逃しているものを見つけられるか?
• Abstract要約: 視覚言語モデル(VLM)が画像から欠落するものについてどのように考えるかを検討する。 OccludeBenchは、まだ残っている視覚的証拠から完全に隠されたオブジェクトを復元するためのベンチマークである。 視覚的推論プロセスの故障箇所を分離する4段階診断であるOccludeTraceを紹介した。
• 参考スコア（独自算出の注目度）: 9.570046212905654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How well can vision-language models (VLMs) reason about what is missing from an image? We study this question with OccludeBench, a manually curated benchmark for recovering fully occluded objects from the visual evidence that remains. OccludeBench distinguishes direct cases, where the hidden object must be recovered from a specific physical cue such as a shadow or reflection, from inferential cases, where it can be inferred from broader scene context. Across five VLMs, accuracy averages 42.7% on direct cases versus 62.7% on inferential cases, exhibiting a 20.0-point gap. Humans attain higher accuracies of 63.4% versus 68.5% for direct and inferential images, respectively, with no significant gap. To locate this failure, we introduce OccludeTrace, a four-stage diagnostic that isolates where the visual reasoning process breaks down. The bottleneck emerges when models must recover the relevant object from the projection within the full image: they succeed on only 50% of failed examples, compared with 91% of examples they answer correctly. Extended reasoning, tool use, and few-shot prompting yield inconsistent improvements and do not reliably eliminate the gap. In contrast, an inpaint-then-confront intervention, which prompts models to first generate a candidate hidden object and then evaluate that hypothesis against the visible physical cue, reduces the gap to a statistically non-significant difference for both models with image-generation capabilities. Together, our results establish a tractable, controlled diagnostic for isolating how VLMs reason about visual content that is missing from an image.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像に欠けているものについて、どの程度の理由付けができるのか? OccludeBenchは視覚的証拠から完全に隠蔽された物体を復元するための手作業によるベンチマークである。 OccludeBenchは、隠されたオブジェクトがシャドウやリフレクションのような特定の物理的なキューから回収されなければならない直接ケースと、より広いシーンコンテキストから推測できる推論ケースとを区別する。 5つのVLMで、精度は直接の場合42.7%、推論の場合62.7%であり、20.0ポイントの差がある。 人間は63.4%の精度で、直接画像と推論画像では68.5%の精度を得るが、大きな差はない。 この障害を見つけるために、視覚的推論プロセスの故障箇所を分離する4段階の診断であるOccludeTraceを導入する。 ボトルネックは、モデルが完全なイメージ内のプロジェクションから関連するオブジェクトをリカバリしなければならないときに生じます。 拡張された推論、ツールの使用、およびわずかなショットにより、収量の改善は一貫性がなく、ギャップを確実に排除しない。 対照的に、まずモデルに隠れた候補を生成させ、その仮説を可視的な物理的キューに対して評価することで、画像生成能力を持つ両方のモデルに対して統計的に重要でない差にギャップを縮める。 本研究は,VLMが画像から欠落している視覚的内容に対してどのように理由づけるかを分離するための,トラクタブルで制御可能な診断方法を確立した。

関連論文リスト

• Contamination, Prior, or Evidence? Decomposing and Training Evidence Use in Whole-Slide Vision-Language Models [15.714715019257149]
  画像および質問側汚染の除去を目的としたTCGAベースのVQAベンチマークを提案する。 Pair-DPOは、同じ質問と情報源から、対実的なスライド対よりも優先的な損失である。 提案手法は,CleanSlideの画像証拠から15.29%を得たが,最も優れたモデルでは2.81%であった。
  論文  参考訳（メタデータ） (2026-09-26T03:19:52Z)
• The Visual Insensitivity Gap: Diagnosing When Vision-Language Models Fail to Use Visual Evidence [1.7844382164707184]
  我々はこの現象を視覚不感ギャップと呼び、サンプルごとの視覚感度指数(VSI)で定量化する。 この仮定は、6つのVLMと3つの知覚的ベンチマークで40%～97%のサンプルで失敗することを示す。
  論文  参考訳（メタデータ） (2026-09-01T08:01:57Z)
• Beyond Localization: A Comprehensive Diagnosis of Perspective-Conditioned Spatial Reasoning in MLLMs from Omnidirectional Images [52.50752250573993]
  MLLM(Multimodal Large Language Models)は、視覚的知覚が強いが、視点の変化による空間の推論には限界がある。 本研究では、この課題を全方位360度画像におけるパースペクティブ・コンディションド・スペース・推論(PCSR)として検討する。 我々は2,600全方位画像から84,373組の質問応答対の診断ベンチマークであるPCSR-Benchを紹介する。
  論文  参考訳（メタデータ） (2026-05-12T17:11:17Z)
• Medical thinking with multiple images [44.04557445622649]
  我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。 データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。 テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
  論文  参考訳（メタデータ） (2026-04-14T18:51:07Z)
• To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs [1.9349092719498848]
  Tri-Layer Diagnostic Frameworkは、潜在異常検出、ビジュアル必要スコア、コンペティションスコアという3つのメトリクスを通じて幻覚ソースをアンハングルする。 我々の分類では、69.6%のサンプルが視覚的シコファンシーを示しており、モデルは視覚異常を検知するが、ユーザーの期待を満足させるために幻覚を与える。
  論文  参考訳（メタデータ） (2026-03-19T00:15:05Z)
• COREVQA: A Crowd Observation and Reasoning Entailment Visual Question Answering Benchmark [3.5018278981067685]
  COREVQA (Crowd Observations and Reasoning Entailment) は5608の画像と合成生成された真/偽のステートメントペアのベンチマークである。 以上の結果から,トップパフォーマンスのVLMでも80%以下で精度が向上し,他のモデルも大幅に悪化した。
  論文  参考訳（メタデータ） (2025-07-17T04:47:47Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)
• Causal Transportability for Visual Recognition [70.13627281087325]
  画像とラベルの関連性は、設定間では転送できないため、標準分類器がフェールすることを示す。 次に、すべての共起源を摂食する因果効果が、ドメイン間で不変であることを示す。 これにより、画像分類における因果効果を推定するアルゴリズムを開発する動機付けとなる。
  論文  参考訳（メタデータ） (2022-04-26T15:02:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。