論文の概要: Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding

• arxiv url: http://arxiv.org/abs/2606.19776v1
• Date: Thu, 18 Jun 2026 04:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.645087
• Title: Occ-VLM: Occupancy Grounded Vision Language Model for Indoor Scene Understanding
• Title（参考訳）: Occ-VLM:室内場面理解のための接地型視覚言語モデル
• Authors: Jianing Li, Zhou Fang, Yijiang Liu, Li Du,
• Abstract要約: 提案するOcc-VLMは3次元シーン理解のための新しいフレームワークで,提案するRGB画像に対して純粋に動作し,単一の2次元視覚エンコーダを用いる。 Occ-VLMは、正確な幾何学的知覚と堅牢な視覚言語推論の両方を達成する。
• 参考スコア（独自算出の注目度）: 31.76161781831759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, vision-language models (VLMs) have made significant progress in 3D scene understanding, driving advances in applications such as embodied intelligence and robotic vision. However, existing approaches typically either rely directly on explicit 3D inputs (e.g., point clouds or RGB-D sequences), or introduce an additional 3D geometry encoder to derive 3D-aware visual tokens from 2D images. Such designs structurally decouple 3D geometric perception from the rich 2D semantics learned via vision-language pre-training, hindering the development of a unified 3D vision-language representation. In this work, we propose Occ-VLM, a novel framework for 3D scene understanding that operates purely on posed RGB images and employs a single 2D vision encoder. Specifically, Occ-VLM reconstructs 3D scene occupancy as an auxiliary geometric prior, which is utilized to spatially associate foreground 2D tokens with 3D space. These tokens are then decoded by a Large Language Model (LLM) for unified scene understanding. Extensive experiments demonstrate that Occ-VLM achieves both accurate geometric perception and robust vision-language reasoning: it attains state-of-the-art performance on multi-view occupancy prediction, while performing on par with 3D-input VLMs on 3D Visual Question Answering (VQA) and 3D dense captioning benchmarks.
• Abstract（参考訳）: 近年,視覚言語モデル (VLM) は3次元シーン理解において大きな進歩を遂げており,インボディード・インテリジェンスやロボットビジョンといった応用の進歩を推進している。 しかし、既存のアプローチは、通常、明示的な3D入力(例えば、点雲やRGB-Dシーケンス)に直接依存するか、2D画像から3D認識された視覚トークンを導出する追加の3Dジオメトリエンコーダを導入するかのいずれかである。 このような設計は、視覚言語による事前学習を通じて学習されたリッチな2次元意味学から構造的に3次元幾何学的知覚を分離し、統一された3次元視覚言語表現の開発を妨げる。 本研究では,3次元シーン理解のための新しいフレームワークであるOcc-VLMを提案する。 具体的には、Occ-VLMは、前景の2Dトークンと3D空間を空間的に関連付けるために使用される補助幾何学的前景として3Dシーン占有を再構築する。 これらのトークンは、統一されたシーン理解のためにLarge Language Model (LLM)によってデコードされる。 Occ-VLMは3次元視覚質問応答(VQA)および3次元密度キャプションベンチマークで3次元入力VLMと同等に動作しながら、多視点占有予測における最先端の性能を達成する。

関連論文リスト

• PanoGrounder: Bridging 2D and 3D with Panoramic Scene Representations for VLM-based 3D Visual Grounding [43.69203194188852]
  PanoGrounderは、多モードパノラマ表現と事前訓練された2D VLMを結合して、強力な視覚言語推論を行う、一般化可能な3DVGフレームワークである。 シーンレイアウトと幾何学を考慮したパノラマ視点をコンパクトに配置する3段階パイプラインを考案する。 提案手法は, ScanRefer と Nr3D の最先端結果を実現し, 未知の3次元データセットやテキストの言い換えに優れた一般化を示す。
  論文  参考訳（メタデータ） (2025-12-24T03:18:51Z)
• LocateAnything3D: Vision-Language 3D Detection with Chain-of-Sight [105.9472902251177]
  次世代の予測問題として3D検出を行うVLMネイティブレシピを提案する。 このモデルでは, 49.89 AP_3Dの精度を+15.51倍に向上した。
  論文  参考訳（メタデータ） (2025-11-25T18:59:45Z)
• LLaVA$^3$: Representing 3D Scenes like a Cubist Painter to Boost 3D Scene Understanding of VLMs [4.332158627306896]
  LLaVA$3$(LLaVA-Cube)は視覚言語モデルの3次元シーン理解能力を向上させる新しい手法である。 キュービストの画家に触発されて、各物体の全方向の視覚表現を通して、VLMの3次元シーンを記述することを提案する。
  論文  参考訳（メタデータ） (2025-11-20T15:22:22Z)
• ZING-3D: Zero-shot Incremental 3D Scene Graphs via Vision-Language Models [0.0]
  ZING-3Dは、ゼロショット方式で3Dシーンのリッチな意味表現を生成するフレームワークである。 また、3D空間におけるインクリメンタルな更新と幾何学的接地を可能にし、下流のロボティクスアプリケーションに適している。 Replica と HM3D データセットを用いた実験により,ZING-3D はタスク固有の訓練を必要とせず,空間的および関係的な知識を捉えるのに有効であることが示された。
  論文  参考訳（メタデータ） (2025-10-24T00:52:33Z)
• Does Your 3D Encoder Really Work? When Pretrain-SFT from 2D VLMs Meets 3D VLMs [72.11701578308804]
  本稿では,最近の3次元視覚言語モデルを3次元オブジェクト中心,2次元イメージベース,および3次元シーン中心のアプローチに分類する。 3Dシーン中心のVLMと2Dシーン中心のVLMのアーキテクチャ的類似性にもかかわらず、最新の3Dオブジェクト中心と2Dイメージベースアプローチと比較して比較的低い性能を示した。 本研究は,これらのモデルが多モードアライメント機能を有する一方で,言語的手がかりに過度に頼り,頻繁な回答に過度に適合する傾向があることを示唆している。
  論文  参考訳（メタデータ） (2025-06-05T17:56:12Z)
• Ross3D: Reconstructive Visual Instruction Tuning with 3D-Awareness [73.72335146374543]
  本稿では,3次元視覚指導を訓練手順に組み込んだ3次元視覚指導法(Ross3D)について紹介する。 Ross3Dは様々な3Dシーン理解ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-04-02T16:59:55Z)
• Unifying 2D and 3D Vision-Language Understanding [85.84054120018625]
  2次元および3次元視覚言語学習のための統一アーキテクチャUniVLGを紹介する。 UniVLGは、既存の2D中心モデルと、エンボディシステムで利用可能なリッチな3Dセンサーデータのギャップを埋める。
  論文  参考訳（メタデータ） (2025-03-13T17:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。