論文の概要: 3D-Aware VLMs with Implicit and Explicit Geometries

• arxiv url: http://arxiv.org/abs/2607.21595v1
• Date: Thu, 23 Jul 2026 17:59:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.531299
• Title: 3D-Aware VLMs with Implicit and Explicit Geometries
• Title（参考訳）: 暗示的・明示的ジオメトリを用いた3次元VLM
• Abstract要約: 視覚言語モデル(VLM)の3次元空間認識を強化する統合フレームワークであるVLM-IE3Dを提案する。 我々のVLM-IE3Dでは、入力ビデオから高レベルの幾何学的先行をキャプチャするImplicit Geometry Tokens (IGT)と、再構成された3D属性から詳細な幾何学的構造をエンコードする補完的なExplicit Geometry Tokens (EGT)を導入している。 VLM-IE3Dは,3次元映像検出,3次元視覚的グラウンド化,高密度キャプション化,空間的推論など,様々な3次元タスクにおいて一貫した性能を実現している。
• 参考スコア（独自算出の注目度）: 72.8641426724502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite rapid progress, most existing vision-language models (VLMs) built from 2D visual inputs often struggle when handling various 3D tasks that require fine-grained spatial understanding and reasoning. To bridge this gap, we present VLM-IE3D, a unified framework that enhances the 3D spatial awareness of VLMs by equipping them with both implicit and explicit 3D geometries learned from RGB videos. Our VLM-IE3D introduces Implicit Geometry Tokens (IGTs) that capture high-level geometric priors from input videos, as well as complementary Explicit Geometry Tokens (EGTs) that encode detailed geometric structures from reconstructed 3D attributes. On top of that, VLM-IE3D comes with a 3D-aware adapter that effectively fuses the two types of geometric representations with 2D visual cues. This RGB-only design injects strong 3D inductive biases for fine-grained spatial understanding and reasoning without requiring any additional 3D inputs. Extensive experiments show that VLM-IE3D achieves superior performance consistently across various 3D tasks including 3D video detection, 3D visual grounding, 3D dense captioning, and spatial reasoning. Code and models are available at https://github.com/Vegetebird/VLM-IE3D.
• Abstract（参考訳）: 急速な進歩にもかかわらず、既存の視覚言語モデル(VLM)は、細かな空間理解と推論を必要とする様々な3Dタスクを扱う際にしばしば苦労する。 このギャップを埋めるために、RGBビデオから学習した暗黙的および明示的な3次元測地の両方を装備することにより、VLMの空間的意識を高める統一的なフレームワークであるVLM-IE3Dを提案する。 我々のVLM-IE3Dでは、入力ビデオから高レベルの幾何学的先行をキャプチャするImplicit Geometry Tokens (IGT)と、再構成された3D属性から詳細な幾何学的構造をエンコードする補完的なExplicit Geometry Tokens (EGT)を導入している。 その上、VLM-IE3Dは2種類の幾何学的表現と2D視覚的手がかりを効果的に融合する3D対応アダプターを備えている。 このRGBのみの設計は、3D入力を必要とせずに、きめ細かい空間的理解と推論のために強力な3D誘導バイアスを注入する。 広汎な実験により,VLM-IE3Dは3次元映像検出,3次元視覚的接地,3次元高密度キャプション,空間的推論など,様々な3次元タスクにおいて一貫して優れた性能を発揮することが示された。 コードとモデルはhttps://github.com/Vegetebird/VLM-IE3D.comで公開されている。

関連論文リスト

• Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding [24.745098191502233]
  3次元幾何学は、ビジュアルストリームの自然な圧縮メカニズムを提供する。 Qwen-3Dは、多視点幾何学的手がかりを用いてQwenバックボーン内の視覚情報を圧縮する幾何学的LMMである。 Qwen-3Dは既存の3D LMMを超え、いくつかの大規模プロプライエタリな2Dモデルを上回っている。
  論文  参考訳（メタデータ） (2026-08-04T00:32:09Z)
• Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding [31.76161781831759]
  提案するOcc-VLMは3次元シーン理解のための新しいフレームワークで,提案するRGB画像に対して純粋に動作し,単一の2次元視覚エンコーダを用いる。 Occ-VLMは、正確な幾何学的知覚と堅牢な視覚言語推論の両方を達成する。
  論文  参考訳（メタデータ） (2026-06-18T04:24:28Z)
• LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight [105.9472902251177]
  次世代の予測問題として3D検出を行うVLMネイティブレシピを提案する。 このモデルでは, 49.89 AP_3Dの精度を+15.51倍に向上した。
  論文  参考訳（メタデータ） (2025-11-25T18:59:45Z)
• Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
  本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。 3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。 本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T17:56:12Z)
• Learning from Videos for 3D World: Enhancing MLLMs with 3D Vision Geometry Priors [24.261272070476934]
  これまで,ビデオとして解釈することで3次元シーンの理解にMLLM(Multimodal Large Language Models)を適用する研究が続けられてきた。 ビデオ3次元幾何大言語モデル(VG LLM)と呼ばれる新しい,効率的な手法を提案する。 提案手法では,映像系列から3次元先行情報を抽出するために3次元ビジュアルジオメトリエンコーダを用いる。
  論文  参考訳（メタデータ） (2025-05-30T14:16:41Z)
• General Geometry-aware Weakly Supervised 3D Object Detection [62.26729317523975]
  RGB画像と関連する2Dボックスから3Dオブジェクト検出器を学習するための統合フレームワークを開発した。 KITTIとSUN-RGBDデータセットの実験により,本手法は驚くほど高品質な3次元境界ボックスを2次元アノテーションで生成することを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:52:08Z)
• 3D-LLM: Injecting the 3D World into Large Language Models [60.43823088804661]
  大規模言語モデル (LLM) と視覚言語モデル (VLM) は、常識推論のような複数のタスクで優れていることが証明されている。 本稿では,大規模言語モデルに3Dワールドを注入し,新しい3D-LLMのファミリーを導入することを提案する。 具体的には、3D-LLMは3Dポイントクラウドとその機能を入力として取り込んで、さまざまな3D関連タスクを実行することができる。
  論文  参考訳（メタデータ） (2023-07-24T17:59:02Z)
• Look Around and Refer: 2D Synthetic Semantics Knowledge Distillation for 3D Visual Grounding [23.672405624011873]
  本稿では,点雲から合成した2次元手がかりを用いて3次元視覚ストリームを統合するモジュールを提案する。 学習した視覚表現の質を高める能力について実証的に示す。 提案したモジュールはLear Around and Refer (LAR)と呼ばれ、3つのベンチマークで最先端の3Dビジュアルグラウンド技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2022-11-25T17:12:08Z)
• DSGN: Deep Stereo Geometry Network for 3D Object Detection [79.16397166985706]
  画像ベースとLiDARベースの3Dオブジェクト検出器の間には大きなパフォーマンスギャップがある。 我々の手法であるDeep Stereo Geometry Network (DSGN)は,このギャップを著しく低減する。 初めて、シンプルで効果的な1段ステレオベースの3D検出パイプラインを提供する。
  論文  参考訳（メタデータ） (2020-01-10T11:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。