論文の概要: VEON: Vocabulary-Enhanced Occupancy Prediction

• arxiv url: http://arxiv.org/abs/2407.12294v1
• Date: Wed, 17 Jul 2024 03:26:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 18:27:38.711130
• Title: VEON: Vocabulary-Enhanced Occupancy Prediction
• Title（参考訳）: VEON:語彙による職業予測
• Authors: Jilai Zheng, Pin Tang, Zhongdao Wang, Guoqing Wang, Xiangxuan Ren, Bailan Feng, Chao Ma,
• Abstract要約: 本稿では,Vocabulary-Enhanced Occupancy predictioNのためのVEONを提案する。 VEONはOcc3D-nuScenesで15.14 mIoUを達成し、オープン語彙圏で物体を認識する能力を示している。
• 参考スコア（独自算出の注目度）: 15.331332063879342
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceiving the world as 3D occupancy supports embodied agents to avoid collision with any types of obstacle. While open-vocabulary image understanding has prospered recently, how to bind the predicted 3D occupancy grids with open-world semantics still remains under-explored due to limited open-world annotations. Hence, instead of building our model from scratch, we try to blend 2D foundation models, specifically a depth model MiDaS and a semantic model CLIP, to lift the semantics to 3D space, thus fulfilling 3D occupancy. However, building upon these foundation models is not trivial. First, the MiDaS faces the depth ambiguity problem, i.e., it only produces relative depth but fails to estimate bin depth for feature lifting. Second, the CLIP image features lack high-resolution pixel-level information, which limits the 3D occupancy accuracy. Third, open vocabulary is often trapped by the long-tail problem. To address these issues, we propose VEON for Vocabulary-Enhanced Occupancy predictioN by not only assembling but also adapting these foundation models. We first equip MiDaS with a Zoedepth head and low-rank adaptation (LoRA) for relative-metric-bin depth transformation while reserving beneficial depth prior. Then, a lightweight side adaptor network is attached to the CLIP vision encoder to generate high-resolution features for fine-grained 3D occupancy prediction. Moreover, we design a class reweighting strategy to give priority to the tail classes. With only 46M trainable parameters and zero manual semantic labels, VEON achieves 15.14 mIoU on Occ3D-nuScenes, and shows the capability of recognizing objects with open-vocabulary categories, meaning that our VEON is label-efficient, parameter-efficient, and precise enough.
• Abstract（参考訳）: 3D占有体として世界を認識することは、あらゆる種類の障害物との衝突を避けるために、エンボディード・エージェントをサポートする。 オープンボキャブラリ画像理解は近年普及しているが、予測される3D占有グリッドをオープンワールドセマンティクスにバインドする方法は、限られたオープンワールドアノテーションのためにまだ未探索のままである。 したがって、スクラッチからモデルを構築する代わりに、2Dファンデーションモデル、特に深度モデルMiDaSとセマンティックモデルCLIPをブレンドして、セマンティクスを3D空間に引き上げ、それによって3D占有を達成しようとします。 しかし、これらの基盤モデルの構築は簡単ではない。 第一に、MiDaSは、相対的な深さしか生成しないが、特徴持ち上げのビン深さを推定できないという、深さあいまいな問題に直面している。 第二に、CLIP画像には高解像度のピクセルレベルの情報がなく、3D占有精度が制限されている。 第三に、オープン語彙は長い尾の問題にしばしば閉じ込められる。 これらの問題に対処するために,VEON for Vocabulary-Enhanced Occupancy predictioN を提案する。 まず,MDASにZoedepthヘッドとローランク適応(LoRA)を装着し,良好な深度を維持しつつ,相対測度ビンの深度変換を行った。 次に、CLIPビジョンエンコーダに軽量なサイドアダプタネットワークを接続し、微細な3D占有率予測のための高精細な特徴を生成する。 さらに、末尾クラスに優先順位をつけるために、クラス再重み付け戦略を設計する。 Occ3D-nuScenesでは46Mのトレーニング可能なパラメータとゼロ手動のセマンティックラベルのみで15.14mIoUを達成した。

関連論文リスト

• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• Co-Occ: Coupling Explicit Feature Fusion with Volume Rendering Regularization for Multi-Modal 3D Semantic Occupancy Prediction [10.698054425507475]
  このレターは、Co-Occと呼ばれる新しいマルチモーダル、すなわちLiDARカメラ3Dセマンティック占有予測フレームワークを提示する。 特徴空間におけるボリュームレンダリングは、3D LiDARスイープと2D画像の間のギャップを十分に埋めることができる。
  論文  参考訳（メタデータ） (2024-04-06T09:01:19Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• UniOcc: Unifying Vision-Centric 3D Occupancy Prediction with Geometric and Semantic Rendering [27.712689811093362]
  我々は、ビジョン中心の3D占有率予測トラックにUniOCCというソリューションを提示する。 我々のソリューションは、単一のモデルで公式のリーダーボード上で51.27% mIoUを達成した。
  論文  参考訳（メタデータ） (2023-06-15T13:23:57Z)
• Learning Occupancy for Monocular 3D Object Detection [25.56336546513198]
  モノクローナル3次元検出のための占有度学習法であるtextbfOccupancy M3D を提案する。 フラストムと3D空間の占有を直接学習し、より差別的で情報的な3D特徴や表現をもたらす。 KITTIとオープンデータセットの実験により,提案手法が新たな最先端技術を実現し,他の手法をはるかに上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T04:03:46Z)
• Weakly Supervised 3D Open-vocabulary Segmentation [104.07740741126119]
  学習済み基礎モデルCLIPとDINOを弱教師付きで活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。 我々はCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力をニューラルラディアンス場(NeRF)に蒸留する。 提案手法の特筆すべき点は,基礎モデルや蒸留プロセスに手動セグメンテーションアノテーションを必要としない点である。
  論文  参考訳（メタデータ） (2023-05-23T14:16:49Z)
• CLIP-FO3D: Learning Free Open-world 3D Scene Representations from 2D Dense CLIP [19.66617835750012]
  3Dシーン理解モデルのトレーニングには、複雑な人間のアノテーションが必要である。 視覚言語による事前学習モデル(例えばCLIP)は、顕著なオープンワールド推論特性を示している。 本稿では,CLIPの特徴空間を直接3次元シーン理解モデルに変換することを提案する。
  論文  参考訳（メタデータ） (2023-03-08T17:30:58Z)
• 3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
  セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。 低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。 提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
  論文  参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。