論文の概要: Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling

• arxiv url: http://arxiv.org/abs/2512.01821v1
• Date: Mon, 01 Dec 2025 16:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.944403
• Title: Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling
• Title（参考訳）: イマジネーションを通して見る:不必要空間世界モデリングによる風景幾何学の学習
• Authors: Meng Cao, Haokun Lin, Haoyuan Li, Haoran Tang, Rongtao Xu, Dong An, Xue Liu, Ian Reid, Xiaodan Liang,
• Abstract要約: 本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。 提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 68.14113731953971
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Spatial reasoning, the ability to understand and interpret the 3D structure of the world, is a critical yet underdeveloped capability in Multimodal Large Language Models (MLLMs). Current methods predominantly rely on verbal descriptive tuning, which suffers from visual illiteracy, i.e., they learn spatial concepts through textual symbols alone, devoid of connection to their visual manifestations. To bridge this gap, this paper introduces MILO, an Implicit spatIaL wOrld modeling paradigm that simulates human-like spatial imagination. MILO integrates a visual generator to provide geometry-aware feedback, thereby implicitly grounding the MLLM's symbolic reasoning in perceptual experience. Complementing this paradigm, we propose RePE (Relative Positional Encoding), a novel encoding scheme that captures relative camera-pose transformations, offering superior performance over absolute coordinate systems. To support the training, we construct GeoGen, a large-scale Geometry-aware Generative dataset with approximately 2,241 videos and 67,827 observation-action-outcome triplets. Experiments demonstrate that our approach significantly enhances spatial reasoning capabilities across multiple baselines and benchmarks, offering a more holistic understanding of 3D space.
• Abstract（参考訳）: 空間的推論は、世界の3次元構造を理解し、解釈する能力であり、マルチモーダル大言語モデル(MLLM)において重要で未発達の能力である。 現在の手法は、主に、視覚的リテラシーに苦しむ言語記述的チューニング、すなわち、テキストのシンボルだけで空間的概念を学習し、視覚的表現との関係を欠いていることに依存している。 このギャップを埋めるために,人間の空間的想像力をシミュレートするImplicit spatIaL wOrldモデリングパラダイムであるMILOを紹介する。 MILOはビジュアルジェネレータを統合し、幾何学的なフィードバックを提供する。 このパラダイムを補完するRePE(Relative Positional Encoding)は、相対的なカメラ位置変換をキャプチャする新しい符号化方式であり、絶対座標系よりも優れた性能を提供する。 トレーニングを支援するために,約2,241本のビデオと67,827本の観察-アクション-アウトカムトレーレットを備えた大規模Geometry-aware GenerativeデータセットであるGeoGenを構築した。 実験により,本手法は複数のベースラインとベンチマークをまたいだ空間推論能力を大幅に向上させ,より総合的な3次元空間の理解を可能にした。

関連論文リスト

• G$^2$VLM: Geometry Grounded Vision Language Model with Unified 3D Reconstruction and Spatial Reasoning [36.62798449863548]
  VLM(Vision-Language Models)は、空間知能にはまだ堅牢性がない。 G$2$VLMは空間知能の2つの基本的な側面を橋渡しする視覚言語モデルである。
  論文  参考訳（メタデータ） (2025-11-26T18:59:39Z)
• Imagine in Space: Exploring the Frontier of Spatial Intelligence and Reasoning Efficiency in Vision Language Models [23.12717700882611]
  空間的推論は人間の認知の基本的な構成要素です 現在の大規模言語モデル(LLM)と視覚言語モデル(VLM)は、論理的推論、問題解決、意思決定にまたがる顕著な推論能力を示している。 我々は空間状態の内部シミュレーションである想像力が空間世界モデルにおける支配的な推論機構であると仮定する。
  論文  参考訳（メタデータ） (2025-11-16T03:09:55Z)
• UniUGG: Unified 3D Understanding and Generation via Geometric-Semantic Encoding [65.60549881706959]
  3Dモダリティのための最初の統一的理解・生成フレームワークUniUGGを紹介する。 本フレームワークでは,LLMを用いて文や3次元表現の理解とデコードを行う。 遅延拡散モデルを利用して高品質な3次元表現を生成する空間デコーダを提案する。
  論文  参考訳（メタデータ） (2025-08-16T07:27:31Z)
• Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
  本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。 提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
  論文  参考訳（メタデータ） (2025-07-01T04:05:47Z)
• Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
  純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。 我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。 コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:04Z)
• MATHGLANCE: Multimodal Large Language Models Do Not Know Where to Look in Mathematical Diagrams [65.02628814094639]
  ダイアグラムは視覚言語の基本形として機能し、複雑な概念と、構造化されたシンボル、形状、空間的配置を通してそれらの相互関係を表現する。 現在のベンチマークでは知覚と推論のタスクが明確化されており、マルチモーダルな大規模言語モデルが表面的なパターン認識以上の数学的図形を真に理解しているかどうかを評価することは困難である。 MLLMにおける数学的知覚の分離と評価を目的としたベンチマークであるMATHGLANCEを紹介する。 幾何学的プリミティブと正確な空間関係を付加した200K構造幾何画像テキストの知覚指向データセットであるGeoPePを構築した。
  論文  参考訳（メタデータ） (2025-03-26T17:30:41Z)
• Re-Thinking Inverse Graphics With Large Language Models [51.333105116400205]
  逆グラフィックス -- イメージを物理変数に反転させ、レンダリングすると観察されたシーンの再現を可能にする -- は、コンピュータビジョンとグラフィックスにおいて根本的な課題である。 LLMを中心とした逆グラフフレームワークである逆グラフ大言語モデル(IG-LLM)を提案する。 我々は、凍結した事前学習されたビジュアルエンコーダと連続的な数値ヘッドを組み込んで、エンドツーエンドのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2024-04-23T16:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。