論文の概要: DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.22356v1
• Date: Thu, 15 Oct 2026 17:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.278393
• Title: DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models
• Title（参考訳）: DK-VLM:視覚言語モデルにおける空間推論の位置としての幾何学
• Abstract要約: 視覚言語モデルは、視界を横切る3次元空間関係を理解し、観察者が動くにつれて空間判断を更新するのに依然として苦労している。 本稿では,視覚トークンの入力位置とシーン内の幾何学的位置の両方から注目度を算出するDK-VLMを提案する。
• 参考スコア（独自算出の注目度）: 79.20430197755103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models still struggle to understand 3D spatial relations across views and update spatial judgments as the observer moves. A common approach fuses 3D reconstruction features into visual tokens, but aligning these features with pretrained semantic representations remains challenging under limited spatial supervision. We propose DK-VLM with Dual-Kernel Attention, which computes attention from both a visual token's input position and its geometric position in the scene. A semantic kernel retains the pretrained model's native attention and positional encoding, while a separate geometric kernel uses estimated 3D points and camera poses to directly modulate attention through point displacements and relative view transformations. Then, a learned gate fuses their outputs. Geometry thus enters attention as position rather than as fused reconstruction features. We further introduce Reference-Frame Composition (RC) supervision to train the model to update its reference frame across successive judgments. It provides stepwise turn and heading targets derived from verified single-step annotations. Among the compared methods, DK-VLM-8B achieves the highest average score across six spatial benchmarks and the highest overall scores on VSI-Bench (74.33) and ReVSI-32 (58.28). RC supervision further improves multi-step spatial reasoning, while the full model preserves general video understanding. Project page: https://sumuru789.github.io/DK-VLM-website/.
• Abstract（参考訳）: 視覚言語モデルは、視界を横切る3次元空間関係を理解し、観察者が動くにつれて空間判断を更新するのに依然として苦労している。 一般的なアプローチは、3D再構成機能を視覚トークンに融合させるが、これらの特徴を事前訓練された意味表現と整合させることは、限られた空間監督の下では困難である。 本稿ではDK-VLMとDual-Kernel Attentionを提案し、視覚トークンの入力位置とシーン内の幾何学的位置の両方から注目度を算出する。 セマンティックカーネルは、事前訓練されたモデルのネイティブアテンションと位置エンコーディングを保持し、別の幾何学的カーネルは、推定された3Dポイントとカメラのポーズを使用して、ポイント変位と相対的なビュー変換を通じて、アテンションを直接調整する。 そして、学習ゲートが出力を融合する。 このように幾何は、融合した復元特徴というよりも、位置として注目される。 さらに、参照フレーム構成 (RC) の監督を導入し、連続した判断に対して参照フレームを更新するようにモデルを訓練する。 検証済みのシングルステップアノテーションから派生した、ステップワイズと方向のターゲットを提供する。 比較手法の中で、DK-VLM-8Bは6つの空間ベンチマークで最高スコアを獲得し、VSI-Bench (74.33) と ReVSI-32 (58.28) で最高スコアを獲得した。 RCの監督により、多段階の空間推論が向上し、フルモデルでは一般的なビデオ理解が維持される。 プロジェクトページ: https://sumuru789.github.io/DK-VLM-website/

関連論文リスト

• RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation [85.41886214825894]
  クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。 本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。 我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
  論文  参考訳（メタデータ） (2026-08-28T11:36:44Z)
• VLRC: Vision-Language Reprojection Consistency as a scalable signal for better feed-forward 3D pretraining [8.146936489399293]
  Vision-Language Reprojection Consistency (VLRC)は、凍結した視覚言語表現をセマンティックなマルチビュー監視として利用する。 VLRCは、自己教師付き単分子再構成と教師付き前向きフィードフォワードモデルの両方とシームレスに統合する。 室内および屋外のベンチマーク実験では、3D再構成精度とゼロショットオープンな3Dセマンティックセマンティックセグメンテーションが一貫した向上を示した。
  論文  参考訳（メタデータ） (2026-07-02T18:49:34Z)
• 3D Segmentation Using Viewpoint-Dependent Spatial Relationships [55.198821645924234]
  220kのベンチマークサンプルを含む視点対応3Dセグメンテーションデータセットを提案する。 このデータセットでは、対象オブジェクトはオブザーバー中心の空間関係によってのみ識別できる。 カメラのポーズをエンコードする視点表現を導入し、そのモデルに観察視点を条件づける。
  論文  参考訳（メタデータ） (2026-05-15T07:58:44Z)
• VEGA: Visual Encoder Grounding Alignment for Spatially-Aware Vision-Language-Action Models [55.12929235609365]
  現在の視覚言語アクション(VLA)モデルの視覚バックボーンは、主に3次元幾何学的監督を伴わない2次元画像データに事前訓練されている。 既存の暗黙の接地法は、VLA特徴を3D認識基盤モデルと整合させることによって、この問題に部分的に対処する。 DINOv2-FiT3D の空間認識機能と VLA の視覚エンコーダの出力を直接一致させるフレームワーク VEGA を提案する。
  論文  参考訳（メタデータ） (2026-05-11T12:44:26Z)
• Think, Act, Build: An Agentic Framework with Vision Language Models for Zero-Shot 3D Visual Grounding [34.1504914582344]
  3D Visual Groundingは、自然言語記述を通じてオブジェクトを3Dシーンにローカライズすることを目的としている。 生のRGB-Dストリーム上で直接動作する2次元から3次元の再生パラダイムである"Think, Act, Build (TAB)"を提案する。 厳密なVLMセマンティックトラッキングによる多視点カバレッジ障害を克服するために,セマンティックアンコレッド幾何拡張を導入する。
  論文  参考訳（メタデータ） (2026-04-01T06:12:16Z)
• Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
  DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。 そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。 パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
  論文  参考訳（メタデータ） (2025-12-23T17:56:36Z)
• Know Your Neighbors: Improving Single-View Reconstruction via Spatial Vision-Language Reasoning [119.99066522299309]
  KYNは、各点の密度を予測するために意味的および空間的文脈を理由として、単一視点シーン再構築のための新しい手法である。 その結果,KYNは3次元点ごとの密度の予測よりも3次元形状回復を改善することがわかった。 我々は,KITTI-360のシーンとオブジェクトの再構成における最先端の成果を達成し,以前の作業と比べてゼロショットの一般化が向上したことを示す。
  論文  参考訳（メタデータ） (2024-04-04T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。