論文の概要: OVM-Occ: Open-Vocabulary Monocular Occupancy Prediction via Geometry-Aware Vision-Language Distillation
- arxiv url: http://arxiv.org/abs/2610.35312v1
- Date: Mon, 26 Oct 2026 12:13:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.916972
- Title: OVM-Occ: Open-Vocabulary Monocular Occupancy Prediction via Geometry-Aware Vision-Language Distillation
- Title（参考訳）: OVM-Occ:Geometry-Aware Vision-Language Distillationによるオープン語彙単分子占有予測
- Abstract要約: 屋内シーンにおける開語彙単分子占有予測について検討した。
OVM-Occ はガウス語をベースとした占領型フレームワークであり,実例対応の視覚言語教師である。
本手法は,屋内シーンの開語彙単分子占有予測における最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 9.717465737643373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular occupancy prediction in indoor scenes aims to recover a scene's 3D geometry and semantics from a single RGB image. Existing methods are restricted to a closed set of predefined categories, limiting their ability to generalize to unseen categories. This limitation is particularly critical in indoor scenes, where objects exhibit highly diverse and fine-grained semantic categories. We study open-vocabulary monocular occupancy prediction for indoor scenes and present OVM-Occ, a Gaussian-based occupancy framework with an instance-aware vision-language teacher. Specifically, we adopt Language-Embedded Gaussians as the intermediate scene representation, propose a geometry-aware deformable attention module to refine Gaussian semantic features, and construct instance-level vision-language embeddings to provide reliable semantic supervision. We further introduce geometry-aware decoupled semantic distillation to mitigate the interference between geometry learning and semantic learning. To evaluate open-vocabulary occupancy prediction performance, we introduce OpenOcc-ScanNet and OpenOcc-Replica, two extended benchmarks with more diverse and fine-grained semantic categories. Experiments show that our method achieves state-of-the-art performance in open-vocabulary monocular occupancy prediction for indoor scenes, outperforming the previous state-of-the-art approach by 12.2 mIoU and 0.6 IoU on the Occ-ScanNet dataset, with consistent gains under new open-vocabulary evaluation protocols.
- Abstract（参考訳）: 屋内シーンにおける単眼的占有予測は、シーンの3次元幾何学と意味論を単一のRGB画像から復元することを目的としている。
既存の手法は、未定義のカテゴリの閉集合に制限され、未確認のカテゴリに一般化する能力に制限される。
この制限は、非常に多様できめ細かなセマンティックなカテゴリーを示す屋内のシーンで特に重要である。
我々は,屋内シーンのオープン語彙単分子占有予測と,事例認識型視覚言語教師によるガウス語ベースの占有フレームワークであるOVM-Occについて検討した。
具体的には、中間シーン表現として言語埋め込みガウシアンを採用し、ガウシアンセマンティックな特徴を洗練するための幾何対応の変形型アテンションモジュールを提案し、インスタンスレベルの視覚言語埋め込みを構築して、信頼性の高いセマンティック・インフォメーションを提供する。
さらに、幾何学学習と意味学習の干渉を軽減するために、幾何学的非結合な意味蒸留を導入する。
OpenOcc-ScanNetとOpenOcc-Replicaは,より多種多様なセマンティックカテゴリを持つ拡張ベンチマークである。
実験により,Occ-ScanNetデータセットにおける12.2 mIoUと0.6 IoUによる従来の最先端手法よりも優れ,新しいオープン語彙評価プロトコルの下で一貫した向上が得られた。
関連論文リスト
- LegoOcc++: Towards Consistent Open-Vocabulary 3D Occupancy Prediction [12.60608820766928]
オープンボキャブラリー3次元占有予測は、複雑な環境で動作しているエンボディエージェントにとって重要である。
本稿では,二元的占有ラベルのみを必要とする幾何学的監督設定を提案する。
また、我々のフレームワークを屋外の運転シナリオに拡張し、その一般性を評価する。
論文 参考訳（メタデータ） (2026-10-25T06:44:50Z) - CoGaussian: Open-Vocabulary Gaussian-based Collaborative 3D Scene Understanding [7.039615214156662]
協調的知覚により、エージェントは個々のエージェントの視野を越えてシーンの意味と幾何学を検索することができる。
オープン語彙ガウスに基づく協調意味的占有予測フレームワークであるCoGaussianについて述べる。
Semantic-OPV2Vベンチマークでは、既存のオープン語彙単一エージェントアプローチよりも優れています。
論文 参考訳（メタデータ） (2026-10-20T17:04:38Z) - Open-Vocabulary Gaze Object Prediction: Benchmark and Method [16.472504490295282]
In-the-wild category 86を含むベンチマークである Diverse Scenes for Gaze Object Prediction (DiSG) を導入する。
DiSGを基盤として,テキスト駆動型物体発見を利用した潜在的視線候補のローカライズを行うフレームワークを提案する。
提案手法は,オープン語彙設定において効果的に動作し,従来のクローズド語彙設定では既存手法よりも優れていた。
論文 参考訳（メタデータ） (2026-07-21T08:03:02Z) - Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis [59.527737790821305]
本稿では,3次元シーングラフを用いてオープンな3次元理解を促進する関係認識フレームワークを提案する。
本手法は,物体関係の推測に視覚言語推論を活用することで,多視点観測からリレーショナルシーングラフを構築する。
ScanNetV2、ScanNet200、ScanNet$++$、Replicaの実験は、強力なパフォーマンスと一般化能力を示している。
論文 参考訳（メタデータ） (2026-07-06T17:29:49Z) - Compact Object-Level Representations with Open-Vocabulary Understanding for Indoor Visual Relocalization [93.79141221821858]
OpenReLocは、シーン理解と正確なポーズ推定機能を提供するために設計されたカメラ再ローカライズシステムである。
2D-3Dオブジェクトマッチングのためのオープン語彙意味知識を統合するためのマルチモーダル機構を提案する。
実験により、OpenReLocは、様々なデータセット間で、より優れた再ローカライズリコールと精度を実現することが示された。
論文 参考訳（メタデータ） (2026-06-23T16:27:04Z) - OpenGaFF: Open-Vocabulary Gaussian Feature Field with Codebook Attention [80.51557267896938]
オープンな3Dシーン理解のための新しいフレームワークであるOpenGaFFについて述べる。
我々の手法の中核はガウス的特徴場であり、ガウス幾何学と外見の連続関数として意味論をモデル化する。
オブジェクトレベルのセマンティック一貫性をさらに強化するために、共有セマンティックプリミティブのセットとして機能する構造化コードブックを導入する。
論文 参考訳（メタデータ） (2026-05-07T12:10:07Z) - Monocular Open Vocabulary Occupancy Prediction for Indoor Scenes [12.60608820766928]
オープン語彙の3D占有は、複雑な屋内環境を理解する必要があるエンボディエージェントにとって不可欠である。
二元的占有率ラベル(占有率対自由度)のみを使用する幾何学的監督パラダイムを提案する。
オープン語彙設定では59.50 IoU と 21.05 mIoU を達成し,既存の IoU の占有法を全て上回り,mIoU の広いマージンで先行したオープン語彙アプローチよりも優れていた。
論文 参考訳（メタデータ） (2026-02-26T06:37:43Z) - Cross-Modal and Uncertainty-Aware Agglomeration for Open-Vocabulary 3D Scene Understanding [58.38294408121273]
CUA-O3Dと呼ばれるオープン語彙3次元シーン理解のためのクロスモーダル・不確実性認識アグリゲーションを提案する。
提案手法は,(1)空間認識型視覚基盤モデルの幾何学的知識とともに,VLMのセマンティックな先入観を取り入れること,(2)モデル固有の不確かさを捉えるために,新しい決定論的不確実性推定を用いること,の2つの課題に対処する。
論文 参考訳（メタデータ） (2025-03-20T20:58:48Z) - GOV-NeSF: Generalizable Open-Vocabulary Neural Semantic Fields [50.68719394443926]
Generalizable Open-Vocabulary Neural Semantic Fields (GOV-NeSF)は、オープン語彙意味論による3Dシーンの一般化可能な暗黙的表現を提供する新しいアプローチである。
GOV-NeSFは2次元および3次元のオープン語彙セマンティックセマンティックセグメンテーションにおいて最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2024-04-01T05:19:50Z) - Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。
事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。
限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
論文 参考訳（メタデータ） (2023-12-01T15:47:04Z) - Panoptic Vision-Language Feature Fields [27.209602602110916]
オープンボキャブラリパノプティックセグメンテーションのための第1のアルゴリズムを3次元シーンで提案する。
本アルゴリズムは,事前学習した2次元モデルから視覚言語の特徴を抽出することにより,シーンの意味的特徴場を学習する。
提案手法は,HyperSim, ScanNet, Replicaデータセット上の最先端のクローズドセット3Dシステムと同様のパノプティカルセグメンテーション性能を実現する。
論文 参考訳（メタデータ） (2023-09-11T13:41:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。