論文の概要: ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction

• arxiv url: http://arxiv.org/abs/2412.11210v1
• Date: Sun, 15 Dec 2024 15:04:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:57:23.176893
• Title: ViPOcc: Leveraging Visual Priors from Vision Foundation Models for Single-View 3D Occupancy Prediction
• Title（参考訳）: ViPOcc: ビジョンファウンデーションモデルからビジュアルプライオリティを活用することで、単一ビューの3D実行予測を実現する
• Authors: Yi Feng, Yu Han, Xijing Zhang, Tanghui Li, Yanting Zhang, Rui Fan,
• Abstract要約: 本稿では,視覚基盤モデルからの視覚的先行情報を活用して,詳細な3D占有率予測を行うViPOccを提案する。 また,効率的な実例認識光サンプリングのための意味誘導型非重複ガウス混合サンプリング器を提案する。 本実験は,3次元占有予測と深度推定の両方において,ViPOccの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 11.312780421161204
• License:
• Abstract: Inferring the 3D structure of a scene from a single image is an ill-posed and challenging problem in the field of vision-centric autonomous driving. Existing methods usually employ neural radiance fields to produce voxelized 3D occupancy, lacking instance-level semantic reasoning and temporal photometric consistency. In this paper, we propose ViPOcc, which leverages the visual priors from vision foundation models (VFMs) for fine-grained 3D occupancy prediction. Unlike previous works that solely employ volume rendering for RGB and depth image reconstruction, we introduce a metric depth estimation branch, in which an inverse depth alignment module is proposed to bridge the domain gap in depth distribution between VFM predictions and the ground truth. The recovered metric depth is then utilized in temporal photometric alignment and spatial geometric alignment to ensure accurate and consistent 3D occupancy prediction. Additionally, we also propose a semantic-guided non-overlapping Gaussian mixture sampler for efficient, instance-aware ray sampling, which addresses the redundant and imbalanced sampling issue that still exists in previous state-of-the-art methods. Extensive experiments demonstrate the superior performance of ViPOcc in both 3D occupancy prediction and depth estimation tasks on the KITTI-360 and KITTI Raw datasets. Our code is available at: \url{https://mias.group/ViPOcc}.
• Abstract（参考訳）: 1枚の画像からシーンの3D構造を推定することは、視覚中心の自律運転の分野で不利で困難な問題である。 既存の方法は、通常、ボキセル化された3D占有力を生み出すために神経放射場を使用し、インスタンスレベルのセマンティック推論と時間的光度整合性が欠如している。 本稿では,視覚基盤モデル(VFM)の視覚的優位性を利用した3次元占有予測手法であるViPOccを提案する。 RGBのボリュームレンダリングと深度画像再構成のみを用いた従来の研究とは違い,VFM予測と地上真実との深度分布の領域ギャップを埋めるために,逆深度アライメントモジュールを提案する計量深度推定分岐を導入する。 得られた距離深度は、時間的測光アライメントと空間幾何学アライメントに利用され、正確で一貫した3D占有率予測が保証される。 さらに,従来の最先端手法にまだ存在する冗長かつ不均衡なサンプリング問題に対処する,効率的なインスタンス認識型サンプリングのための意味誘導型非重複型ガウス混合サンプリング器を提案する。 大規模な実験では、KITTI-360およびKITTI Rawデータセット上での3次元占有予測と深度推定の両方において、ViPOccの優れた性能を示す。 私たちのコードは以下の通りです。

関連論文リスト

• How to Use Diffusion Priors under Sparse Views? [29.738350228085928]
  Inline Prior Guided Score Matching is proposed to provide visual supervision over sparse view in 3D reconstruction。 提案手法は,最先端の復元品質を実現する。
  論文  参考訳（メタデータ） (2024-12-03T07:31:54Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• Parametric Depth Based Feature Representation Learning for Object Detection and Segmentation in Bird's Eye View [44.78243406441798]
  本稿では,このような特徴変換をモデル化するために,深度などの幾何学的情報を活用することに焦点を当てる。 まず2次元画像の特徴を,各ビューの画素ごとのパラメトリック深度分布を予測して,エゴ車に定義された3次元空間に引き上げる。 次に、深度からBEVフレームへの3次元空間占有度に基づいて、3次元特徴体積を集約する。
  論文  参考訳（メタデータ） (2023-07-09T06:07:22Z)
• Towards Domain Generalization for Multi-view 3D Object Detection in Bird-Eye-View [11.958753088613637]
  まず,MV3D-Detタスクにおける領域ギャップの原因を解析する。 頑健な深度予測を得るために,カメラの内在パラメータから深度推定を分離する手法を提案する。 焦点長の値を変更して複数の擬似ドメインを作成し、敵の訓練損失を発生させ、特徴表現をよりドメインに依存しないものにするよう促す。
  論文  参考訳（メタデータ） (2023-03-03T02:59:13Z)
• 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
  3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。 私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。 本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
  論文  参考訳（メタデータ） (2021-12-01T00:52:42Z)
• Probabilistic and Geometric Depth: Detecting Objects in Perspective [78.00922683083776]
  3次元物体検出は、運転支援システムなどの様々な実用用途で必要とされる重要な機能である。 双眼視やLiDARに頼っている従来の設定に比べて、経済的な解決策として単眼3D検出が注目されているが、それでも満足のいく結果が得られていない。 本稿ではまず,この問題に関する系統的研究を行い,現在の単分子3次元検出問題をインスタンス深度推定問題として単純化できることを考察する。
  論文  参考訳（メタデータ） (2021-07-29T16:30:33Z)
• Depth-conditioned Dynamic Message Propagation for Monocular 3D Object Detection [86.25022248968908]
  モノラル3Dオブジェクト検出の問題を解決するために、コンテキストと奥行きを認識する特徴表現を学びます。 KITTIベンチマークデータセットにおける単眼的アプローチにおける最新の結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T16:20:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。