論文の概要: Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
- arxiv url: http://arxiv.org/abs/2608.10864v1
- Date: Tue, 11 Aug 2026 12:34:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.040801
- Title: Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models
- Title（参考訳）: 視覚言語モデルを用いた空間推論のための多視点関係蒸留
- Abstract要約: 視覚言語モデル(VLM)は画像と映像の理解を強く達成しているが、視覚空間表現は幾何学的に脆弱である。
本稿では,教師の特徴そのものではなく,視点にパッチワイドな類似性を蒸留する多視点リレーショナル蒸留(MVRD)を提案する。
- 参考スコア（独自算出の注目度）: 20.202625597458177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) have achieved strong image and video understanding, yet their visual-spatial representations remain geometrically fragile, leading to failures in spatial reasoning needed for embodied AI, robotics, and autonomous driving. Prior approaches to geometry grounding either fine-tune VLMs on spatial question answering, which can perpetuate spurious visual representations, or fuse features from large geometry-grounded vision models, which substantially increases model size at inference. Knowledge distillation from geometry-grounded vision models offers an alternative, but directly matching multi-view teacher features can disrupt the pretrained alignment between visual and textual representations, degrading object- and language-semantic capabilities. We propose multi-view relational distillation (MVRD), which distills patch-wise cosine similarities across views instead of the teacher features themselves. These relations encode geometric correspondences adequate for spatial understanding, while leaving the student representation underdetermined, allowing it to remain close to its pretrained vision- language space. Across representative VLMs, MVRD improves visual-spatial reasoning, outperforming supervised fine-tuning and feature distillation while approaching feature fusion methods with considerably fewer added parameters and lower latency. We show that MVRD makes visual representations more geometric while retaining language alignment, and generalizes to 3D scene understanding tasks such as object grounding, dense captioning, and question answering.
- Abstract（参考訳）: 視覚言語モデル(VLM)は強力な画像と映像の理解を達成しているが、その視覚空間表現は幾何学的に脆弱であり、AI、ロボティクス、自律運転に必要な空間推論の失敗につながっている。
空間的質問応答に基づく微視的VLMの接地への以前のアプローチは、突発的な視覚表現を永続させるか、あるいは大きな幾何学的接地型視覚モデルから特徴を融合させ、推論時のモデルサイズを大幅に増加させる。
幾何学的接地型視覚モデルからの知識蒸留は、代替手段を提供するが、直接マッチングされた多視点教師機能は、視覚的表現とテキスト的表現の事前訓練されたアライメントを妨害し、オブジェクトと言語セマンティック能力を劣化させる可能性がある。
本稿では,教師の特徴そのものではなく,視点にパッチワイドな類似性を蒸留する多視点リレーショナル蒸留(MVRD)を提案する。
これらの関係は、空間的理解に適した幾何学的対応をエンコードする一方で、学生表現は過小評価され、事前訓練された視覚言語空間に近づき続けることができる。
代表的VLM全体にわたって、MVRDは視覚空間推論を改善し、教師付き微調整と特徴蒸留に優れ、パラメータが大幅に小さく、レイテンシも低い特徴融合法にアプローチする。
MVRDは、言語アライメントを維持しながら視覚表現をより幾何学的にし、オブジェクトグラウンド、密接なキャプション、質問応答などの3Dシーン理解タスクに一般化する。
関連論文リスト
- Which Pretraining Paradigm Better Serves Spatial Intelligence? An Empirical Comparison of Vision-Language and Video Generation Models [31.851717131965824]
VLM(Vision-Language Models)とVGM(Video Generation Models)の最初の系統的凍結状態探索研究について述べる。
この軽量プローブを用いて,2つのモデルファミリの凍結表現にすでにコード化されている情報について,制御された比較を可能にする。
VLMはセマンティックタグ付けやインスタンスグルーピングが強く、VGMは密な幾何学やカメラの動きに対してよりアクセスしやすい信号を提供する。
論文 参考訳（メタデータ） (2026-05-27T08:20:04Z) - SpatialImaginer: Towards Adaptive Visual Imagination for Spatial Reasoning [67.67774742200626]
空間知能は、視覚的な観察から幾何学的および物理的構造を推論する能力を指すもので、大きな言語モデルにとって重要な課題である。
テキスト推論と視覚的想像力を組み合わせた統合型マルチモーダル生成フレームワークを提案する。
本フレームワークでは,高レベルなセマンティックプランニングのためのテキストチェーンと,幾何感応的な状態変換と整合性保存のための視覚的想像力を用いて,分割・対数戦略を採用している。
論文 参考訳（メタデータ） (2026-04-19T11:21:59Z) - Learning 3D Representations for Spatial Intelligence from Unposed Multi-View Images [81.94999489820974]
UniSplat (UniSplat) は、未提示のマルチビュー画像から3D表現を学習するためのフィードフォワードフレームワークである。
エンコーダにおける幾何誘導を強化するデュアルマスキング戦略を導入する。
第2に,外見のセマンティックな矛盾を解消する粗大なガウス的スプレイティング戦略を開発する。
第3に、予測された3次元点と意味マップを画像平面に相互に関連付ける、ポーズ条件の補正機構を導入する。
論文 参考訳（メタデータ） (2026-04-12T10:36:18Z) - Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling [68.14113731953971]
本稿では,人間のような想像力をシミュレートするインプリシット・スパットIaLwOrldモデリングパラダイムMILOを紹介する。
提案手法は,複数のベースラインとベンチマークにまたがる空間推論能力を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2025-12-01T16:01:41Z) - Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens [54.18057944158818]
Chain-of-Visual-Thought (COVT)は、ビジョンランゲージモデル(VLM)が連続的な視覚トークンを通じて推論できるようにするフレームワークである。
約20枚のトークンからなる小さな予算の中で、COVTは軽量ビジョンの専門家から知識を抽出する。
トレーニング中、COVTを持つVLMは視覚トークンを自動回帰予測し、密集した監視信号を再構築する。
論文 参考訳（メタデータ） (2025-11-24T18:55:19Z) - Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。
視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。
広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
論文 参考訳（メタデータ） (2025-09-29T17:59:57Z) - Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。
提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-07-01T04:05:47Z) - Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。
次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
論文 参考訳（メタデータ） (2025-03-25T14:34:06Z) - RelationVLM: Making Large Vision-Language Models Understand Visual Relations [66.70252936043688]
本稿では,複数の画像にまたがっても動画内でも,様々なレベルの関係を解釈できる大規模視覚言語モデルであるRelationVLMを提案する。
具体的には,多段階的な関係認識学習手法とそれに対応するデータ構成戦略を考案し,意味的関係を理解する能力を備えた関係VLMを提案する。
論文 参考訳（メタデータ） (2024-03-19T15:01:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。