論文の概要: Beyond What Meets the Eye: Unveiling Situational Illusions for Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2608.22232v1
- Date: Sun, 23 Aug 2026 06:03:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.658453
- Title: Beyond What Meets the Eye: Unveiling Situational Illusions for Multimodal Large Language Models
- Title（参考訳）: 目で見るものを超えて:マルチモーダルな大規模言語モデルのための状況的イリュージョン
- Abstract要約: 実世界の状況は、その基盤となる物理的状態から逸脱し、実践的な応用においてマルチモーダルな大規模言語モデル(MLLM)の信頼性に挑戦する。
この現象を状況錯覚と呼び、このような錯覚の下でMLLMがどのように機能するかを考察する。
我々は、文脈的理解のための視覚的証拠を体系的に検査し、推論し、クローズドソースモデルのプロンプトを開発し、オープンソースモデルの微調整を監督するという、中核的な考え方に基づいている。
- 参考スコア（独自算出の注目度）: 9.436265912103435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-world situation appearances can deviate from their underlying physical states, challenging the reliability of multimodal large language models (MLLMs) in practical applications. In this paper, we term this phenomenon situational illusions and investigate: (1) how MLLMs perform under such illusions, and (2) how to mitigate the limitations. We first develop a comprehensive where-what-how taxonomy that characterizes where situational illusions occur, what targets they take, and how they arise. Building on this taxonomy, we introduce MSIBench, a benchmark designed to assess the discrimination, understanding, and reasoning capabilities of MLLMs under situational illusions. Evaluations of 27 model configurations reveal that current MLLMs are highly vulnerable to these illusions and exhibit 6 typical failure modes related to visual observation, grounding, and reasoning. To mitigate the limitations, we build on the core idea of systematically inspecting and reasoning over visual evidence for contextual understanding, developing prompting for closed-source models and supervised fine-tuning for open-source models, respectively. These two simple yet effective methods improve model performances by 20% at most, suggesting a practical path toward more reliable multimodal perception and reasoning in complex real-world environments.
- Abstract（参考訳）: 実世界の状況は、その基盤となる物理的状態から逸脱し、実践的な応用においてマルチモーダルな大規模言語モデル(MLLM)の信頼性に挑戦する。
本稿では,この現象を状況錯覚と呼び,(1)MLLMがこのような錯覚の下でどのように機能するか,(2)限界を緩和するかを考察する。
まず、状況錯覚の発生場所、その対象、発生方法を特徴付ける包括的場所・方法の分類法を開発する。
MSIBenchは、状況錯覚下でのMLLMの識別、理解、推論能力を評価するためのベンチマークである。
27のモデル構成の評価では、現在のMLLMはこれらの錯覚に対して非常に脆弱であり、視覚観察、接地、推論に関連する6つの典型的な障害モードを示す。
制約を緩和するために、我々は、文脈的理解の視覚的証拠を体系的に検査し、推論し、クローズドソースモデルのプロンプトを開発し、オープンソースモデルの微調整を監督するという、中核的な考え方を構築した。
これら2つの単純で効果的な手法はモデル性能を最大20%向上させ、複雑な実環境におけるより信頼性の高いマルチモーダル認識と推論への実践的な道のりを示唆している。
関連論文リスト
- Predictive Regularization Against Visual Representation Degradation in Multimodal Large Language Models [84.94288033791346]
我々は,MLLMにおける視覚的表現の劣化という,広範にわたる課題を明らかにするために,詳細な診断分析を行う。
我々は,この現象を,単一のテキスト生成目標によって引き起こされる視覚的犠牲とみなし,そのモデルが解答生成の最適化のためにその視覚的忠実度を損なう。
本研究では,初期視覚特性を予測するために,劣化した中間特徴を強制的に予測し,MLLMの内部表現に固有の視覚特性を維持するための予測正則化を提案する。
論文 参考訳（メタデータ） (2026-03-21T13:10:37Z) - Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs [55.61018839017648]
CoT(Chain-of- Thought)推論は、複雑な推論タスクにおいて、MLLM(Multimodal large language model)を大幅に改善した。
既存のアプローチは、主に長いテキスト推論軌道に依存し、安定した視覚的注意ポリシーを学ぶための限られたメカニズムを提供する。
地域レベルの視覚的注意に基づく報酬を導入する強化学習フレームワークを用いて訓練された視覚的推論モデルであるSAYOを提案する。
論文 参考訳（メタデータ） (2026-02-09T03:33:23Z) - MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。
遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。
以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
論文 参考訳（メタデータ） (2026-02-02T18:49:06Z) - Seeing Is Believing? A Benchmark for Multimodal Large Language Models on Visual Illusions and Anomalies [40.03295633717008]
視覚錯覚と異常のモデル性能を探索するベンチマークであるVIA-Benchを紹介する。
我々は1K以上の高品質な問合せ対を構築し、微妙な視覚的推論を必要とする。
以上の結果から,知覚的ボトルネックの解消が人工知能の進歩に不可欠であることが示唆された。
論文 参考訳（メタデータ） (2026-02-02T08:48:03Z) - PENDULUM: A Benchmark for Assessing Sycophancy in Multimodal Large Language Models [43.767942065379366]
サイコファシー(英: Sycophancy)は、AIモデルが実際の正確さや視覚的証拠の矛盾を犠牲にしてユーザー入力に同意する傾向である。
約2000組の視覚質問応答対からなる総合評価ベンチマーク「textitPENDULUM」を導入する。
本研究は, モデルロバスト性およびサイコファンおよび幻覚行動に対する感受性の顕著な変動を観察する。
論文 参考訳（メタデータ） (2025-12-22T12:49:12Z) - LTD-Bench: Evaluating Large Language Models by Letting Them Draw [57.237152905238084]
LTD-Benchは、大規模言語モデル(LLM)のブレークスルーベンチマークである。
LLMの評価を抽象的なスコアから直接観察可能な視覚出力に変換する。
LTD-Benchの視覚出力は強力な診断分析を可能にし、モデル類似性を調べるための潜在的アプローチを提供する。
論文 参考訳（メタデータ） (2025-11-04T08:11:23Z) - Pixels to Principles: Probing Intuitive Physics Understanding in Multimodal Language Models [5.134872455507186]
本稿では,直感的な物理課題に対するMLLM(State-of-the-the-art multimodal large language model)の体系的評価について述べる。
オープンソースモデルであるInternVL 2.5、Qwen 2.5 VL、LLaVA-OneVision、およびプロプライエタリなGemini 2.0 Flash Thinkingを評価した。
最新のモデルでさえ、不確実なシナリオと物理的に妥当な区別を確実にするのに苦労している。
論文 参考訳（メタデータ） (2025-07-22T13:24:42Z) - MLLMs are Deeply Affected by Modality Bias [158.64371871084478]
MLLM(Multimodal Large Language Models)の最近の進歩は、テキストや画像などの多様なモダリティを統合する上で、有望な成果を示している。
MLLMはモダリティバイアスに強く影響され、しばしば言語に依存し、視覚入力のような他のモダリティを過小評価する。
本稿では,MLLMはモダリティバイアスの影響を強く受けており,様々なタスクにまたがってその発現を明らかにする。
論文 参考訳（メタデータ） (2025-05-24T11:49:31Z) - Multimodal Large Language Models to Support Real-World Fact-Checking [80.41047725487645]
MLLM(Multimodal large language model)は、膨大な情報処理において人間を支援する能力を持つ。
MLLMはすでにファクトチェックツールとして使用されていますが、その能力や制限については検討中です。
本稿では,現実のファクトチェックを容易にするために,現在のマルチモーダルモデルの能力を体系的に評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-06T11:32:41Z) - The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。
MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。
本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
論文 参考訳（メタデータ） (2024-01-22T16:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。