論文の概要: Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models
- arxiv url: http://arxiv.org/abs/2605.28132v1
- Date: Wed, 27 May 2026 08:20:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.883306
- Title: Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models
- Title（参考訳）: 空間的知性を改善するパラダイムの事前学習 : 視覚言語モデルと映像生成モデルの比較
- Authors: Haozhan Shen, Tiancheng Zhao, Kangjia Zhao, Jianwei Yin,
- Abstract要約: VLM(Vision-Language Models)とVGM(Video Generation Models)の最初の系統的凍結状態探索研究について述べる。
この軽量プローブを用いて,2つのモデルファミリの凍結表現にすでにコード化されている情報について,制御された比較を可能にする。
VLMはセマンティックタグ付けやインスタンスグルーピングが強く、VGMは密な幾何学やカメラの動きに対してよりアクセスしやすい信号を提供する。
- 参考スコア（独自算出の注目度）: 31.851717131965824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial intelligence requires visual representations that capture both semantic objects and geometric structure in the physical world. To support this, two major pre-training schemes are now widely used as foundation backbones: Vision-Language Models (VLMs), which use language supervision to align visual observations with semantic concepts, and Video Generation Models (VGMs), which learn from temporally evolving visual worlds. However, it still remains unclear which pre-training scheme provides a better representation substrate for spatial intelligence. In this paper, we present the first systematic frozen-feature probing study of VLMs and VGMs across three representative axes of spatial intelligence: semantic tagging, instance grouping, and 3D geometry prediction. Using the lightweight probe, our framework enables a controlled comparison of what information is already encoded in frozen representations from two model families. Experimental results reveal a clear complementarity: VLMs are stronger at semantic tagging and instance grouping, while VGMs provide more accessible signals for dense geometry and camera motion. Moreover, a naive fusion of the two already yields a representation that excels at both geometry and semantics, suggesting a promising direction for building stronger spatial-intelligence backbones by effectively integrating features from both model families. Our code is available at \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM}.
- Abstract（参考訳）: 空間知能は、物理的世界の意味的対象と幾何学的構造の両方を捉える視覚的表現を必要とする。
これをサポートするために、2つの主要な事前学習スキームが基盤のバックボーンとして広く使用されている。視覚言語モデル(VLM)は、視覚的な観察をセマンティックな概念と整合させる言語監督と、時間的に進化する視覚世界から学ぶビデオ生成モデル(VGM)である。
しかし、どの事前学習スキームが空間知能に優れた表現基盤を提供するのかはいまだ不明である。
本稿では,空間知能の3つの代表軸であるセマンティックタギング,インスタンスグループ化,3次元幾何予測におけるVLMとVGMの系統的凍結状態の探索研究について述べる。
この軽量プローブを用いて,2つのモデルファミリの凍結表現にすでにコード化されている情報について,制御された比較を可能にする。
VLMはセマンティックタグ付けやインスタンスグループ化に優れており、VGMは密な幾何学やカメラの動きに対してよりアクセスしやすい信号を提供する。
さらに、この2つの内在的な融合は、幾何と意味論の両方に優れた表現を与えており、モデルファミリの機能を効果的に統合することで、より強力な空間知性バックボーンを構築するための有望な方向を示唆している。
我々のコードは \href{https://github.com/om-ai-lab/Probing-VLM-VGM}{https://github.com/om-ai-lab/Probing-VLM-VGM} で公開されている。
関連論文リスト
- Dual-Pathway Geometry-Aware MLLM for Spatial Intelligence [63.11502936651325]
本稿では,空間知能のための二経路幾何対応MLLMであるGAMSIを提案する。
RGB画像のみを入力とし、両方の幾何学的形態を統一された自己回帰バックボーン内に内包する。
GAMSIは、7つの空間インテリジェンスベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-05-25T01:33:19Z) - GeoWorld-VLM: Geometry from World Models for Vision-Language Models [10.86505613923278]
現代視覚言語モデル (VLM) は強力な意味認識を実現するが, 基本的な空間的関係は不安定である。
冷凍ビデオワールドモデルからVLMへ幾何学構造を転送するVLM側蒸留フレームワークであるGeoWorld-VLMを紹介する。
GeoWorld-VLMファインチューニングはイメージエンコーダとマルチモーダルプロジェクタのみであり、メインのバックボーンを凍結しながら、プロジェクタ後のイメージ特徴と中間のワールドモデル表現とを一致させる。
論文 参考訳（メタデータ） (2026-05-15T23:52:11Z) - VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。
既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。
DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
論文 参考訳（メタデータ） (2026-05-11T12:44:26Z) - Proxy3D: Efficient 3D Representations for Vision-Language Models via Semantic Clustering and Alignment [50.02189698630855]
本稿では,視覚モダリティのためのコンパクトかつ包括的な3Dプロキシ表現を備えたProxy3D法を提案する。
提案手法は,3次元視覚的質問応答,視覚的接地,空間知能のベンチマークにおいて,競合や最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-05-08T17:50:47Z) - HERMES++: Toward a Unified Driving World Model for 3D Scene Understanding and Generation [83.31948299340782]
HERMES++は、単一のフレームワーク内で3Dシーン理解と将来の幾何学的予測を統合する統合駆動世界モデルである。
Hermes++は、将来のクラウド予測と3Dシーン理解タスクの両方において、優れたパフォーマンスと優れたスペシャリストのアプローチを実現している。
論文 参考訳（メタデータ） (2026-04-30T17:59:58Z) - TagaVLM: Topology-Aware Global Action Reasoning for Vision-Language Navigation [70.23578202012048]
Vision-Language Navigation (VLN) は、アーキテクチャ上のミスマッチのため、大きなビジョン-Language Models (VLM) に固有の課題を提示している。
我々は,VLMのバックボーンにトポロジ構造を明示的に注入するエンドツーエンドフレームワークであるTagaVLM(トポロジ・アウェア・グローバルアクション推論)を提案する。
トポロジ的ノード情報を強化するため、Interleaved Navigation Promptはノードレベルのビジュアルテキストアライメントを強化する。
埋め込みトポロジグラフでは、このモデルはグローバルな行動推論が可能であり、堅牢な経路補正を可能にする。
論文 参考訳（メタデータ） (2026-03-03T13:28:07Z) - EagleVision: A Dual-Stage Framework with BEV-grounding-based Chain-of-Thought for Spatial Intelligence [10.889641815961133]
空間知能アプローチは通常、2D推論パイプラインやブラックボックス再構成モジュールを備えたMLLMに3Dキューを付加する。
本稿では,マクロ認識とマイクロ検証による進行的空間認知のためのフレームワークであるEagleVisionを提案する。
論文 参考訳（メタデータ） (2025-12-17T07:51:36Z) - Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。
提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-07-01T04:05:47Z) - Spatial-MLLM: Boosting MLLM Capabilities in Visual-based Spatial Intelligence [13.168559963356952]
純粋に2次元の観察から空間的推論を行う新しいフレームワークであるSpatial-MLLMを提案する。
我々の重要な洞察は、フィードフォワード視覚幾何学基礎モデルに先立って、強い構造を解き放つことである。
コネクタは、両方の機能を統合された視覚トークンに統合し、空間的理解を強化する。
論文 参考訳（メタデータ） (2025-05-29T17:59:04Z) - SimIPU: Simple 2D Image and 3D Point Cloud Unsupervised Pre-Training for
Spatial-Aware Visual Representations [85.38562724999898]
我々はSimIPUと呼ばれる2Dイメージと3Dポイントクラウドの教師なし事前学習戦略を提案する。
具体的には、モーダル内空間認識モジュールとモーダル間特徴相互作用モジュールからなるマルチモーダルコントラスト学習フレームワークを開発する。
我々の知る限りでは、屋外マルチモーダルデータセットに対する対照的な学習事前学習戦略を探求する最初の研究である。
論文 参考訳（メタデータ） (2021-12-09T03:27:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。