論文の概要: VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning?

• arxiv url: http://arxiv.org/abs/2606.07872v1
• Date: Fri, 05 Jun 2026 22:06:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.49733
• Title: VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning?
• Title（参考訳）: VisualFLIP:マルチモーダル推論におけるタスククリティカルなビジュアルエビデンスに依存しているか?
• Abstract要約: マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
• 参考スコア（独自算出の注目度）: 79.44137632338062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When a multimodal large language model answers a visual reasoning question correctly, is the prediction actually supported by the task-critical visual evidence? Correct answers can coexist with flawed reasoning, making accuracy alone an incomplete test of grounding. We introduce VisualFLIP, a paired benchmark with 1,374 images arranged as same-question perturbation pairs across cardinality, attribute, spatial, and logic tasks. Each pair keeps the question fixed but minimally changes the evidence so the gold answer deterministically flips. We evaluate 24 MLLMs with pair accuracy, which requires solving both sides of a pair, and Collapse Rate (CR), which measures how often a model that solves at least one side repeats the same non-empty answer for both images. Together, these metrics show that paired correctness and evidence dependence are related but distinct: capable models can still fail to update after task-critical visual changes, and collapse becomes more severe for some models when the edited image follows an earlier answer in a sequential setting. Further details are available on our project page: https://didizhu-judy.github.io/VisualFLIP/
• Abstract（参考訳）: マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? 正しい答えは、欠陥のある推論と共存し得るので、正確さだけでグラウンド化の不完全なテストとなる。 我々は,1,374枚の画像が同一の摂動対に配列されたペアベンチマークであるVisualFLIPを紹介した。 各ペアは質問を固定するが、最小限に証拠を変更するので、金の答えは決定論的に反転する。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。 有能なモデルは、タスククリティカルな視覚的変化の後でも更新に失敗する可能性があり、編集された画像が逐次的な設定で早期の回答に従うと、いくつかのモデルでは崩壊がより深刻になる。 詳細はプロジェクトのページ(https://didizhu-judy.github.io/VisualFLIP/)で確認できます。

関連論文リスト

• Mirage Probes: How Vision Models Fake Visual Understanding [13.299409525312491]
  視覚言語モデル(VLM)は、画像が提供されていない場合でも、画像ベースの疑問に自信を持って、しばしば正しく答えることができる。 本研究は, 残差流, 注意点, 注意点の内的活性化から, ミラージュ行動が線形に除去可能であることを示す。
  論文  参考訳（メタデータ） (2026-06-11T19:51:44Z)
• Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving [12.905518450115906]
  本稿では,エビデンス・ソース識別評価のための多視点視覚質問応答ベンチマークを提案する。 ベンチマークには、73のシーンから122のコンフリクト中心の質問回答ペアが含まれている。 ビジュアルソースの識別を回答の正しさから明確に分離することで、ベンチマークは回答のみの評価が見逃す基礎的な失敗を露呈する。
  論文  参考訳（メタデータ） (2026-06-08T15:39:06Z)
• Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
  空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。 対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。 各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
  論文  参考訳（メタデータ） (2026-05-28T20:44:47Z)
• Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination [39.713386491199884]
  VLM(Vision-Language Models)は、しばしば推論中に「図をもう一度確認する」といった自己表現的なステートメントを生成する。 このようなステートメントは、真の視覚的再検査を引き起こすのか、それとも単にテキストパターンを学んだだけなのか? 我々は、イメージスワップ探索フレームワークであるVisualSwapを通してこれを調査する。
  論文  参考訳（メタデータ） (2026-05-15T11:31:14Z)
• Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts [7.071615105094556]
  視覚的属性は、初期層から線形にデオード可能であることを示す。 初期のレイヤでのトレーニング不要なアクティベーションは、いくつかの設定で性能を低下させることなく、最大3.8%の視覚的グラウンド化を向上できることを示す。
  論文  参考訳（メタデータ） (2026-04-10T14:36:07Z)
• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• VLMs have Tunnel Vision: Evaluating Nonlocal Visual Reasoning in Leading VLMs [18.349695067647012]
  ビジュアル言語モデルは、VQAやチャート理解といった複雑なビジュアルタスクに優れていますが、最近の研究は、単純なテストで苦労していることを示唆しています。 非局所的な視覚的推論のための視覚言語モデルの能力を評価する。 その結果,生の視力の上昇にもかかわらず,現在のモデルでは中心的な視覚的推論能力が欠如していることが判明した。
  論文  参考訳（メタデータ） (2025-07-04T23:15:52Z)
• v1: Learning to Point Visual Tokens for Multimodal Grounded Reasoning [27.688428439248607]
  簡単なポイント・アンド・コピーアプローチによるアクティブな視覚的参照を可能にする軽量な拡張であるv1を紹介する。 これにより、モデルは関連するイメージパッチを特定し、埋め込みを推論ストリームにコピーすることができる。 我々のポインティング戦略では、MLLMはセマンティックな表現をキーとして直接イメージパッチを選択でき、知覚的証拠はモデルの推論と同じ空間に埋め込まれている。
  論文  参考訳（メタデータ） (2025-05-24T19:30:47Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions [103.20281438405111]
  MCQA(Multiple-choice Question answering)は、高性能トランスフォーマー言語モデルのキーコンピテンスである。 我々は,正解を予測するための関連情報をエンコードするキー隠れ状態のローカライズに語彙予測とアクティベーションパッチ手法を用いる。 後続の層は語彙空間における予測応答記号の確率を増大させ、この確率の増加は、特異な役割を持つ注目ヘッドのスパースセットと関連していることを示す。
  論文  参考訳（メタデータ） (2024-07-21T00:10:23Z)
• Counterfactual Samples Synthesizing for Robust Visual Question Answering [104.72828511083519]
  モデルに依存しない対実サンプル合成(CSS)トレーニングスキームを提案する。 CSSは、画像や質問の言葉で重要なオブジェクトをマスキングすることで、多数の偽物トレーニングサンプルを生成する。 VQA-CP v2では58.95%,6.5%向上した。
  論文  参考訳（メタデータ） (2020-03-14T08:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。