論文の概要: Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2607.21085v1
- Date: Thu, 23 Jul 2026 09:15:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.346859
- Title: Geo3R: Mitigating Spatial Reasoning Hallucination in Multimodal Large Language Models
- Title(参考訳): Geo3R:マルチモーダル大言語モデルにおける空間推論幻覚の緩和
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、空間的関係を推論する際、幻覚を起こす傾向にある。
幾何学的エビデンスと構造的3次元推論を組み込んだ,空間的推論幻覚を緩和する学習自由なプラグアンドプレイフレームワークGeo3Rを提案する。
- 参考スコア(独自算出の注目度): 17.54298648529689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite remarkable progress in visual understanding, Multimodal Large Language Models (MLLMs) remain prone to hallucinations when reasoning about spatial relationships, often producing judgments that contradict the true 3D structure of the scene. Though several existing works have proposed to mitigate hallucinations, our analysis indicates that they show limited effectiveness in spatial reasoning, as they fail to bridge the fundamental gap between 2D visual representations and 3D spatial reality. Based on this finding, we define hallucinations arising from insufficient spatial structure modeling as spatial reasoning hallucination, a subcategory of relation hallucination that existing mitigation methods fail to address. We further identify three typical scenarios where such hallucinations frequently occur: perspective effects, object orientation, and viewpoint changes. To this end, we propose Geo3R, a training-free, plug-and-play framework that incorporates geometric evidence and structured 3D reasoning to mitigate spatial reasoning hallucination. Experiments on three benchmarks, covering 18 tasks across all three scenarios, show that Geo3R substantially reduces spatial reasoning hallucination across diverse MLLMs without additional training, outperforming existing models and methods.
- Abstract(参考訳): 視覚的理解の顕著な進歩にもかかわらず、マルチモーダル大言語モデル(MLLM)は空間的関係を推論する際に幻覚を起こす傾向にあり、しばしばシーンの真の3D構造と矛盾する判断を生み出す。
幻覚を緩和するためにいくつかの既存の研究が提案されているが、2次元の視覚表現と3次元の空間現実の基本的なギャップを埋めることができず、空間的推論において限られた効果を示した。
本研究は,空間構造モデリングの不十分さから生じる幻覚を,既存の緩和法では対処できない関係幻覚のサブカテゴリである空間推論幻覚と定義する。
さらに、このような幻覚が頻繁に発生する3つの典型的なシナリオ、すなわち視点効果、オブジェクト指向、視点変化を同定する。
この目的のために,幾何学的エビデンスと構造的3次元推論を組み込んだ,空間的推論幻覚を緩和するトレーニングフリーなプラグアンドプレイフレームワークGeo3Rを提案する。
3つのベンチマークの実験では、3つのシナリオすべてにわたる18のタスクをカバーし、Geo3Rは様々なMLLMの空間的推論幻覚を、追加のトレーニングなしで大幅に低減し、既存のモデルや手法より優れていることを示した。
関連論文リスト
- What Makes LVLMs Hallucinate Less? Unveiling the Architectural Factors Behind Hallucination Robustness [33.32946342654949]
幻覚は、LVLM(Large Vision-Language Models)の信頼性を損なう重要な課題の1つである。
幻覚は基本的にモデルアーキテクチャの設計方法に由来すると我々は主張する。
本研究は,建築レベルの設計を幻覚に結びつける最初の体系的な研究であり,信頼性と効率的なLVLMの開発のための実践的ガイダンスを提供する。
論文 参考訳(メタデータ) (2026-05-29T06:47:31Z) - Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。
提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2025-12-01T16:01:41Z) - Review of Hallucination Understanding in Large Language and Vision Models [65.29139004945712]
本稿では,多様なアプリケーションにまたがる画像とテキストの幻覚を特徴付けるフレームワークを提案する。
我々の調査によると、幻覚はデータ分布や遺伝バイアスの予測可能なパターンから生じることが多い。
この調査は、現実世界の生成AIシステムにおける幻覚に対するより堅牢で効果的なソリューションを開発する基盤を提供する。
論文 参考訳(メタデータ) (2025-09-26T09:23:08Z) - How Large Language Models are Designed to Hallucinate [0.42970700836450487]
幻覚はトランスフォーマーアーキテクチャの構造的な結果であると主張する。
本研究の貢献は,(1) 既存の説明が不十分な理由を示す比較説明,(2) 提案されたベンチマークによる実存的構造に関連付けられた幻覚の予測分類,(3) 開示の欠如を抑えることの可能な「真理に制約された」アーキテクチャへの設計方針,の3つである。
論文 参考訳(メタデータ) (2025-09-19T16:46:27Z) - Two Causes, Not One: Rethinking Omission and Fabrication Hallucinations in MLLMs [31.601057368065877]
既存の手法は、省略と製造幻覚が共通の原因を共有するという欠点のある仮定に基づいており、しばしば省略を減らし、より多くの製造を誘発する。
本研究は,視覚的特徴を言語表現にマッピングする場合に,排他的幻覚が不十分な自信から生じることを示すことによって,この見解を覆すものである。
本研究では,物体の存在や不在を視覚的証拠がどのように推測するかを明らかにする概念的枠組みである視覚意味的注意力場を提案する。
論文 参考訳(メタデータ) (2025-08-30T05:47:41Z) - MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
マルチモーダル幻覚は多源性であり、様々な原因から生じる。
既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
論文 参考訳(メタデータ) (2025-05-30T05:54:36Z) - Understanding and Evaluating Hallucinations in 3D Visual Language Models [42.355169504378246]
3D-LLMは、インテリジェンスとシーン理解の複雑なタスクに取り組むために提案されている。
幻覚の影響が大きい。
本研究は、3D-LLMにおける幻覚に関する最初の体系的研究である。
論文 参考訳(メタデータ) (2025-02-18T07:15:43Z) - Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。
これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。
本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
論文 参考訳(メタデータ) (2024-12-29T23:56:01Z) - VideoHallucer: Evaluating Intrinsic and Extrinsic Hallucinations in Large Video-Language Models [59.05674402770661]
本稿では,大規模ビデオ言語モデル(LVLM)における幻覚検出のための最初の総合的ベンチマークであるVideoHallucerを紹介する。
VideoHallucerは幻覚を2つの主なタイプに分類する。
論文 参考訳(メタデータ) (2024-06-24T06:21:59Z) - Logical Closed Loop: Uncovering Object Hallucinations in Large Vision-Language Models [52.957842999317506]
オブジェクト幻覚(Object Hallucination)とは、LVLMが画像に存在しない物体を主張する現象である。
本稿では,物体の幻覚検出と緩和,すなわちLogicCheckGPTのための論理閉ループベースのフレームワークを提案する。
プラグアンドプレイ法として、既存のすべてのLVLMにシームレスに適用することができる。
論文 参考訳(メタデータ) (2024-02-18T15:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。