論文の概要: Multimodal Language Models Cannot Spot Spatial Inconsistencies

• arxiv url: http://arxiv.org/abs/2604.00799v2
• Date: Thu, 02 Apr 2026 21:20:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 12:42:34.178216
• Title: Multimodal Language Models Cannot Spot Spatial Inconsistencies
• Title（参考訳）: マルチモーダル言語モデルでは空間的不整合が見つからない
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、複数のビューにまたがる3次元幾何学の推論に苦慮することが多い。 我々は,同じシーンを2つの視点で見れば,3次元運動の一貫性に反する物体を識別する,より困難なタスクを導入する。 マルチビューシーンから現実的で空間的に一貫性のない画像ペアを生成するための,シンプルでスケーラブルな手法を提案する。
• 参考スコア（独自算出の注目度）: 10.81222944820803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spatial consistency is a fundamental property of the visual world and a key requirement for models that aim to understand physical reality. Despite recent advances, multimodal large language models (MLLMs) often struggle to reason about 3D geometry across multiple views. Rather than asking models to describe scene attributes, we introduce a more challenging task: given two views of the same scene, identify the object that violates 3D motion consistency. We propose a simple and scalable method for generating realistic, spatially inconsistent image pairs from multi-view scenes, enabling systematic evaluation of this capability. Our results show that state-of-the-art MLLMs significantly underperform human observers and exhibit substantial variability across different scene attributes, revealing a fragile and incomplete understanding of 3D structure. We hope our findings underscore the need for approaches that develop a more deeply grounded understanding of the physical world.
• Abstract（参考訳）: 空間的一貫性は視覚世界の基本的な性質であり、物理的な現実を理解することを目的としたモデルにとって重要な要件である。 近年の進歩にもかかわらず、マルチモーダルな大言語モデル(MLLM)は、複数の視点で3次元幾何学について考えるのに苦労することが多い。 モデルにシーン属性を記述するのではなく、同じシーンの2つのビューを考慮し、3Dモーションの一貫性に反するオブジェクトを特定するという、より困難なタスクを導入する。 マルチビューシーンから現実的で空間的に一貫性のない画像ペアを生成するための,シンプルでスケーラブルな手法を提案する。 以上の結果から,現状のMLLMは人間の観察能力が著しく低下し,様々なシーン特性に有意な変動がみられ,脆弱で不完全な3次元構造の理解が得られた。 われわれの発見は、物理的な世界をより深く理解するアプローチの必要性を浮き彫りにすることを願っている。

関連論文リスト

• WorldSculpt: Generating Compositional Worlds from Grounded Videos [50.427204240556854]
  本研究では,数百個のオブジェクトを含む散在するシーンの合成3次元表現を生成する問題について検討する。 この課題は、物体が互いに強く干渉し合うような密集したシーンにおいて挑戦的であり、それぞれのビューはその幾何のごく一部しか明らかにしない。 多視点観察に先立ち、強い単物体3D生成を適応させることにより、数百個の物体からなる複雑なシーンを合成的に生成できることが示される。
  論文  参考訳（メタデータ） (2026-09-04T17:59:35Z)
• Rendering Multi-Human and Multi-Object with 3D Gaussian Splatting [47.35917581534084]
  ロボット工学とVR/ARのための高忠実なデジタルツインを作るには、複数の対話する人間とオブジェクトをスパースビューから再構築することが不可欠である。 この問題はマルチHuman Multi-Objectレンダリングと呼ばれ、2つの重要な障害を生じさせる。 3D Splatting上に構築された新しい階層型フレームワークMM-GSを提案する。
  論文  参考訳（メタデータ） (2026-04-03T12:20:36Z)
• Unified Semantic Transformer for 3D Scene Understanding [55.415468022487005]
  我々は、単一のモデル内に多様な3Dセマンティックタスクを統一する新しいフィードフォワードニューラルネットワークUNITEを紹介する。 我々のモデルは、完全なエンドツーエンドで見えないシーンで動作し、完全な3Dセマンティックジオメトリを推測するのにほんの数秒しかかからない。 UNITEはいくつかの異なる意味的タスクにおいて最先端のパフォーマンスを達成し、タスク固有のモデルよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2025-12-16T12:49:35Z)
• Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
  本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。 提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-12-01T16:01:41Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• Video Perception Models for 3D Scene Synthesis [109.5543506037003]
  VIPSceneは、ビデオ生成モデルにおける3D物理世界のエンコードされたコモンセンス知識を利用する新しいフレームワークである。 VIPSceneはビデオ生成、フィードフォワード3D再構成、オープン語彙認識モデルをシームレスに統合し、シーン内の各オブジェクトを意味的かつ幾何学的に分析する。
  論文  参考訳（メタデータ） (2025-06-25T16:40:17Z)
• Unfolding Spatial Cognition: Evaluating Multimodal Models on Visual Simulations [61.235500325327585]
  既存のAIベンチマークは、主に言語推論を評価し、非言語的で多段階の視覚シミュレーションの複雑さを無視している。 STAREは,マルチモーダルな大規模言語モデルを視覚シミュレーションによりよりよく解いたタスクで厳格に評価するためのベンチマークである。 評価の結果,より単純な2次元変換よりもモデルの方が優れているが,より複雑なタスクにおいてランダムに近い確率で実行可能であることがわかった。
  論文  参考訳（メタデータ） (2025-06-05T05:09:46Z)
• MLLM-For3D: Adapting Multimodal Large Language Model for 3D Reasoning Segmentation [91.94869042117621]
  推論セグメンテーション(Reasoning segmentation)は、人間の意図と空間的推論に基づく複雑なシーンにおける対象オブジェクトのセグメンテーションを目的としている。 最近のマルチモーダル大言語モデル(MLLM)は印象的な2次元画像推論セグメンテーションを実証している。 本稿では,2次元MLLMから3次元シーン理解へ知識を伝達するフレームワークであるMLLM-For3Dを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T16:40:20Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)
• Learning Object-Centric Representations of Multi-Object Scenes from Multiple Views [9.556376932449187]
  マルチビュー・マルチオブジェクトネットワーク(マルチビュー・マルチオブジェクトネットワーク、MulMON)は、複数のビューを活用することで、複数のオブジェクトシーンの正確なオブジェクト中心表現を学習する手法である。 我々は,MulMONが単一視点法よりも空間的曖昧性をよく解いていることを示す。
  論文  参考訳（メタデータ） (2021-11-13T13:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。