論文の概要: SD-VLM: Spatial Measuring and Understanding with Depth-Encoded Vision-Language Models

• arxiv url: http://arxiv.org/abs/2509.17664v1
• Date: Mon, 22 Sep 2025 12:08:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.361412
• Title: SD-VLM: Spatial Measuring and Understanding with Depth-Encoded Vision-Language Models
• Title（参考訳）: SD-VLM:深度エンコード型視覚言語モデルによる空間計測と理解
• Authors: Pingyi Chen, Yujing Lou, Shen Cao, Jinhui Guo, Lubin Fan, Yue Wu, Lin Yang, Lizhuang Ma, Jieping Ye,
• Abstract要約: 視覚言語モデル(VLM)は2次元意味的視覚的理解において優れているが、3次元空間的関係について定量的に推論する能力はいまだ未解明のままである。 VLMの基本空間知覚能力を大幅に向上させる新しいフレームワークであるSD-VLMを提案する。 我々はSD-VLMを訓練した。これは強力な一般化VLMであり、より優れた空間的測定と理解能力を示す。
• 参考スコア（独自算出の注目度）: 75.64836077468722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While vision language models (VLMs) excel in 2D semantic visual understanding, their ability to quantitatively reason about 3D spatial relationships remains under-explored, due to the deficiency of 2D images' spatial representation ability. In this paper, we analyze the problem hindering VLMs' spatial understanding abilities and propose SD-VLM, a novel framework that significantly enhances fundamental spatial perception abilities of VLMs through two key contributions: (1) propose Massive Spatial Measuring and Understanding (MSMU) dataset with precise spatial annotations, and (2) introduce a simple depth positional encoding method strengthening VLMs' spatial awareness. MSMU dataset covers massive quantitative spatial tasks with 700K QA pairs, 2.5M physical numerical annotations, and 10K chain-of-thought augmented samples. We have trained SD-VLM, a strong generalist VLM which shows superior quantitative spatial measuring and understanding capability. SD-VLM not only achieves state-of-the-art performance on our proposed MSMU-Bench, but also shows spatial generalization abilities on other spatial understanding benchmarks including Q-Spatial and SpatialRGPT-Bench. Extensive experiments demonstrate that SD-VLM outperforms GPT-4o and Intern-VL3-78B by 26.91% and 25.56% respectively on MSMU-Bench. Code and models are released at https://github.com/cpystan/SD-VLM.
• Abstract（参考訳）: 視覚言語モデル(VLM)は2次元意味的視覚的理解において優れているが、2次元画像の空間的表現能力の欠如により、3次元空間的関係について定量的に推論する能力は未探索のままである。 本稿では,VLMの空間的理解能力を阻害する問題を分析し,SD-VLMを提案する。SD-VLMは,(1)高精度な空間的アノテーションを用いたMSMUデータセットの提案と,(2)VLMの空間的認識力を高めるための簡易な深度位置符号化手法を提案する。 MSMUデータセットは、700KのQAペア、2.5Mの物理数値アノテーション、そして10Kのチェーン・オブ・イン・プレッション・サンプルで巨大な量的空間的タスクをカバーしている。 SD-VLMは,より優れた空間的計測と理解能力を示す強力な一般化VLMである。 SD-VLMは,提案したMSMU-Benchの最先端性能だけでなく,Q-SpatialやSpatialRGPT-Benchを含む他の空間理解ベンチマークにおいても空間一般化能力を示す。 SD-VLM は GPT-4o と Intern-VL3-78B をそれぞれ 26.91%、MSMU-Bench では 25.56% で上回った。 コードとモデルはhttps://github.com/cpystan/SD-VLMで公開されている。

関連論文リスト

• Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
  純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。 我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。 コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
  論文  参考訳（メタデータ） (2025-05-29T17:59:04Z)
• SpatialScore: Towards Unified Evaluation for Multimodal Spatial Understanding [64.15606979785355]
  マルチモーダル大規模言語モデル(MLLM)は,質問応答タスクにおいて顕著な成功を収めているが,空間的理解能力は乏しい。 既存のMLLMは3次元空間認識と理解能力を持っているか?
  論文  参考訳（メタデータ） (2025-05-22T17:59:03Z)
• SpaceR: Reinforcing MLLMs in Video Spatial Reasoning [70.7401015322983]
  ビデオ空間推論は、既存のマルチモーダル大言語モデル(MLLM)にとって重要な課題である この制限は主に、1)このタスクに高品質なデータセットがないこと、2)空間推論能力を開発するための効果的なトレーニング戦略がないことに由来する。 空間推論能力のアンロックにおける強化学習(Reinforcement Learning with Verifiable Reward, RLVR)の成功により, RLVRパラダイムを通じて映像空間推論におけるMLLMの改善を目指す。
  論文  参考訳（メタデータ） (2025-04-02T15:12:17Z)
• MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs [19.70116190496693]
  MLLM(Multimodal large language model)は、2次元の視覚的理解に優れるが、3次元空間を推論する能力には限界がある。 本研究では,1)新しい教師付き微調整データセットの導入,2)屋内シーンに焦点を当てた新しい評価ベンチマークを導入するために,オープンセットアノテーションを用いた大規模高品質3Dシーンデータを活用する。
  論文  参考訳（メタデータ） (2025-03-17T12:34:22Z)
• SpatialRGPT: Grounded Spatial Reasoning in Vision Language Models [68.13636352687257]
  VLMの空間知覚と推論能力を高めるために空間領域GPT(SpatialRGPT)を導入する。 推測中、ユーザが指定した領域の提案が提供されると、SpatialRGPTは相対的な方向と距離を正確に知覚できる。 本研究では,空間的推論タスクにおける局所的プロンプトと非局所的プロンプトの双方において,空間的RGPTにより性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:59:06Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。