論文の概要: Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.05833v1
• Date: Thu, 04 Jun 2026 08:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.636168
• Title: Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models
• Title（参考訳）: 空間知能多モード大言語モデルのためのビデオからの幾何学的表現の学習
• Authors: Haibo Wang, Lifu Huang,
• Abstract要約: 純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。 表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。 空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 32.477423778941386
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) excel at 2D semantic understanding but lack intrinsic 3D awareness, resulting in representations that fail to maintain geometric and spatial consistency across video frames. Given the scarcity of large-scale 3D data, we present GeoVR, a novel framework that learns geometric representations using purely 2D video sequences. This approach effectively restructures the semantic latent space within MLLMs to unlock spatial intelligence. Rather than employing superficial feature mixing, GeoVR reshapes the internal representations of the MLLM by distilling geometry knowledge from pre-trained 3D foundation models. This is accomplished through a multi-objective learning strategy driven by four complementary geometric targets: (1) estimating inter-frame camera poses to embed varying viewpoint dynamics, (2) regressing dense depth maps to anchor physical distances, (3) predicting a metric scale factor for real-world calibration, and (4) distilling multi-scale 3D features to align the intermediate feature space. Guided by these explicit physical and geometric constraints, the model's internal representations naturally develop strong 3D awareness. Extensive experiments on spatial reasoning benchmarks demonstrate that GeoVR achieves state-of-the-art performance, establishing a new paradigm for endowing foundation models with spatial intelligence.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、2Dセマンティック理解において優れているが、固有の3D認識がないため、ビデオフレーム間の幾何学的・空間的整合性を維持することができない。 大規模3Dデータの不足を考慮し,純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習する新しいフレームワークGeoVRを提案する。 このアプローチは、空間知性を解放するためにMLLM内のセマンティック潜在空間を効果的に再構成する。 表面的特徴混合を採用するのではなく、GeoVRは、事前訓練された3D基礎モデルから幾何学的知識を蒸留することでMLLMの内部表現に不満を抱いている。 これは、(1)フレーム間カメラのポーズを推定して様々な視点のダイナミックスを埋め込む、(2)密集した深度マップを固定する、(3)現実世界のキャリブレーションのためのメートル法スケール係数を予測する、(4)中間特徴空間を整列するためにマルチスケールの3D特徴を蒸留する、という4つの相補的幾何学的目標によって駆動される多目的学習戦略によって達成される。 これらの明示的な物理的および幾何学的制約によって導かれ、モデルの内部表現は自然に強力な3D認識を発達させる。 空間推論ベンチマークに関する大規模な実験は、GeoVRが最先端のパフォーマンスを達成し、空間知性を持つ基礎モデルを実現するための新しいパラダイムを確立することを実証している。

関連論文リスト

• HiSpatial: Taming Hierarchical 3D Spatial Understanding in Vision-Language Models [33.677114670148235]
  本稿では,視覚言語モデルにおける3次元空間理解の学習を,段階的に複雑な4つのレベルに分解する原理的階層的枠組みを提案する。 我々は,空間的理解を深めるために,計量スケールの点マップを補助入力として組み込んだRGB-D VLMを開発した。
  論文  参考訳（メタデータ） (2026-03-26T13:08:12Z)
• SoPE: Spherical Coordinate-Based Positional Embedding for Enhancing Spatial Perception of 3D LVLMs [21.891285551179365]
  Spherical Coordinate-based Positional Embedding (SoPE)を紹介する。 本手法は,3次元球面座標空間に点-クラウドトークンのインデックスをマッピングし,空間位置と方向角の統一モデリングを可能にする。 この定式化は、点クラウドデータの固有の幾何学的構造を保持し、空間的認識を高め、マルチモーダル学習のためのより一貫性があり表現力のある幾何学的表現をもたらす。
  論文  参考訳（メタデータ） (2026-02-26T07:42:15Z)
• Scalable Adaptation of 3D Geometric Foundation Models via Weak Supervision from Internet Video [76.32954467706581]
  本稿では,生のビデオストリームからGEometric foundationモデルのスケーラブル適応を行うフレームワークであるSAGEを提案する。 階層的なマイニングパイプラインを使用して、ビデオをトレーニングトラジェクトリやハイブリッド監視に変換します。 実験の結果、SAGEはゼロショットの一般化を著しく向上し、チェムファー距離を20-42%削減した。
  論文  参考訳（メタデータ） (2026-02-08T09:53:21Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
  VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。 人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。 本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
  論文  参考訳（メタデータ） (2025-06-11T15:56:59Z)
• Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
  純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。 我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。 コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:04Z)
• VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
  本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。 VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
  論文  参考訳（メタデータ） (2025-05-26T17:56:30Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。