論文の概要: Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence

• arxiv url: http://arxiv.org/abs/2605.25334v1
• Date: Mon, 25 May 2026 01:33:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.233743
• Title: Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence
• Title（参考訳）: 空間情報のためのデュアルパスウェイ幾何学的MLLM
• Authors: Yufei Zheng, Xuhan Zhu, Zide Liu, Chunpeng Zhou, Chenfeng Wang, Yongchao Xu, Yunnan Wang, Jiawei Liu, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun Zha,
• Abstract要約: 本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。 RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。 GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 63.11502936651325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial understanding of the physical world from 2D visual inputs hinges on two complementary forms of geometric knowledge: holistic 3D structural perception and fine-grained metric scale estimation. Existing multimodal large language models (MLLMs) typically address only one facet, ingesting either depth maps or point clouds as additional model inputs, which incurs substantial computational overhead and inherits the generalization limitations of upstream prediction models. We propose GAMSI, a dual-pathway Geometry-Aware MLLM for Spatial Intelligence that takes only RGB images as input while internalizing both forms of geometric prior within a unified autoregressive backbone. Specifically, we introduce Metric-Structure Decoupled Queries (MSDQ) which employ two groups of learnable queries to respectively extract dense metric signals and sparse structural cues from the shared visual context, with a task-decoupled attention mask further preventing the two pathways from contaminating each other. Building on this, an Expert-Guided Visual Grounding (EVG) module projects the aggregated cues back to frame-level visual features and aligns them with vision foundation models, which serve purely as training-time supervision, rather than as model inputs. We further build a multi-task spatial instruction-tuning dataset (MTS) comprising 152{,}776 samples spanning 13 task types and three visual modalities, consolidated from six public datasets. Trained with a two-stage curriculum, GAMSI achieves state-of-the-art performance on seven spatial intelligence benchmarks.
• Abstract（参考訳）: 2次元視覚的入力から物理世界の空間的理解は、2つの相補的な幾何学的知識(全体論的3次元構造知覚と詳細な計量スケール推定)に基づく。 既存のマルチモーダル大言語モデル(MLLM)は、通常、1つの面のみに対処し、深度マップまたは点雲を追加のモデル入力として取り込み、かなりの計算オーバーヘッドを発生させ、上流予測モデルの一般化制限を継承する。 本稿では,RGB画像のみを入力とし,両形態の幾何学的事前を統合自己回帰バックボーン内に内在させながら,空間知能のためのデュアルパスウェイ幾何対応MLLMであるGAMSIを提案する。 具体的には,2つの学習可能なクエリを用いて,共有された視覚的コンテキストから高密度なメトリック信号とスパースな構造的キューをそれぞれ抽出するMSDQ(Metric-Structure Decoupled Queries)を提案する。 これに基づいて、Expert-Guided Visual Grounding (EVG)モジュールは、集約されたキューをフレームレベルの視覚的特徴に投影し、モデル入力ではなく、トレーニング時の監督として純粋に機能する視覚基盤モデルと整合させる。 さらに、13のタスクタイプと3つの視覚的モダリティにまたがる152{,}776のサンプルを6つのパブリックデータセットから統合したマルチタスク空間命令チューニングデータセット(MTS)を構築した。 GAMSIは2段階のカリキュラムで訓練され、7つの空間的インテリジェンスベンチマークで最先端のパフォーマンスを達成する。

関連論文リスト

• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
  UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。 エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。 第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。 第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
  論文  参考訳（メタデータ） (2026-04-12T10:36:18Z)
• Make Geometry Matter for Spatial Reasoning [62.61667611352403]
  視覚言語モデル(VLM)は、強いイメージと映像理解を実現するが、静的シーンとダイナミックビデオの両方で空間的推論を行う能力は限られている。 近年の進歩は、事前訓練された3次元基礎モデルから幾何学トークンをVLMに注入することで、この制限に対処しようとしている。 我々は、VLMが幾何トークンで積極的に推論するように促すことにより、幾何学的問題を作るためのフレームワークGeoSRを提案する。
  論文  参考訳（メタデータ） (2026-03-27T17:45:12Z)
• GAP-MLLM: Geometry-Aligned Pre-training for Activating 3D Spatial Perception in Multimodal Large Language Models [70.61152292499737]
  このギャップは、幾何学的事前の不足から生じるものではなく、訓練パラダイムの誤った調整から生じるものである、と我々は主張する。 既存のアプローチでは、通常、特徴の結合を示唆し、幾何学的な監督なしに下流のタスクを直接最適化する。 本稿では,下流適応前の構造知覚を明示的に活性化する幾何学的事前学習パラダイムであるGAP-MLLMを提案する。
  論文  参考訳（メタデータ） (2026-03-17T12:43:48Z)
• GS-CLIP: Zero-shot 3D Anomaly Detection by Geometry-Aware Prompt and Synergistic View Representation Learning [11.364765496753074]
  3D異常検出は、ターゲットのトレーニングデータなしでターゲットデータセット内の異常を検出することを目的とした、新たなタスクである。 現在の方法は、3Dポイントクラウドを2D表現に投影することでCLIPに適応するが、それらは課題に直面している。 本研究では,2段階の学習プロセスを通じて幾何学的異常を識別するゲノメトリ・アウェア・プロンプトとシネジスティック・ビュー表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-22T14:30:41Z)
• Video2Layout: Recall and Reconstruct Metric-Grounded Cognitive Map for Spatial Reasoning [19.549136366694572]
  Video2は、ビデオからメートル法で配置された空間レイアウトを再構築するためのフレームワークである。 このフレームワークは、オブジェクト間の物理サイズとオブジェクトサイズを定量化するために、連続的なオブジェクト境界座標を使用する。 我々のモデルであるV2LO-7Bは、グリッドマップで訓練されたモデルよりも平均4.92%向上した。
  論文  参考訳（メタデータ） (2025-11-20T08:57:14Z)
• Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
  純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。 我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。 コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:04Z)
• Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
  本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。 本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。 この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
  論文  参考訳（メタデータ） (2024-08-01T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。