Fugu-MT 論文翻訳(概要): Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement

論文の概要: Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement

arxiv url: http://arxiv.org/abs/2407.13155v1
Date: Thu, 18 Jul 2024 04:46:13 GMT
ステータス: 処理完了
システム内更新日: 2024-07-19 16:51:58.147337
Title: Real-Time 3D Occupancy Prediction via Geometric-Semantic Disentanglement
Title（参考訳）: Geometric-Semantic Disentanglementによるリアルタイム3次元動作予測
Authors: Yulin He, Wei Chen, Tianci Xun, Yusong Tan,
Abstract要約: 運転予測は自律運転(AD)において重要な役割を担っている既存の手法はしばしば高い計算コストを発生させるが、これはADのリアルタイム要求と矛盾する。ハイブリッドBEV-Voxel表現を用いた幾何学的意味的デュアルブランチネットワーク(GSDBN)を提案する。
参考スコア（独自算出の注目度）: 8.592248643229675
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Occupancy prediction plays a pivotal role in autonomous driving (AD) due to the fine-grained geometric perception and general object recognition capabilities. However, existing methods often incur high computational costs, which contradicts the real-time demands of AD. To this end, we first evaluate the speed and memory usage of most public available methods, aiming to redirect the focus from solely prioritizing accuracy to also considering efficiency. We then identify a core challenge in achieving both fast and accurate performance: \textbf{the strong coupling between geometry and semantic}. To address this issue, 1) we propose a Geometric-Semantic Dual-Branch Network (GSDBN) with a hybrid BEV-Voxel representation. In the BEV branch, a BEV-level temporal fusion module and a U-Net encoder is introduced to extract dense semantic features. In the voxel branch, a large-kernel re-parameterized 3D convolution is proposed to refine sparse 3D geometry and reduce computation. Moreover, we propose a novel BEV-Voxel lifting module that projects BEV features into voxel space for feature fusion of the two branches. In addition to the network design, 2) we also propose a Geometric-Semantic Decoupled Learning (GSDL) strategy. This strategy initially learns semantics with accurate geometry using ground-truth depth, and then gradually mixes predicted depth to adapt the model to the predicted geometry. Extensive experiments on the widely-used Occ3D-nuScenes benchmark demonstrate the superiority of our method, which achieves a 39.4 mIoU with 20.0 FPS. This result is $\sim 3 \times$ faster and +1.9 mIoU higher compared to FB-OCC, the winner of CVPR2023 3D Occupancy Prediction Challenge. Our code will be made open-source.
Abstract（参考訳）: 職業予測は、微粒な幾何学的知覚と一般的な物体認識能力により、自律運転(AD)において重要な役割を担っている。しかし、既存の手法はしばしば高い計算コストを発生させ、ADのリアルタイム要求とは矛盾する。この目的のために、我々はまず、一般に利用可能なほとんどのメソッドの速度とメモリ使用量を評価し、焦点を単に精度を優先することから、効率も考慮することを目的としている。次に、高速かつ正確な性能を達成する上でのコア課題を特定します: \textbf{the strong coupling between geometry and semantic}。この問題に対処する。 1) ハイブリッドBEV-Voxel表現を用いたジオメトリ・セマンティックデュアルブランチネットワーク(GSDBN)を提案する。 BEVブランチでは、高密度な意味的特徴を抽出するために、BEVレベルの時間融合モジュールとU-Netエンコーダが導入された。ボクセル分岐では、スパース3次元形状を洗練し、計算量を削減するために、大カーネル再パラメータ化3次元畳み込みが提案されている。さらに,両枝の機能融合のために,BEV機能をボクセル空間に投射する新しいBEV-ボクセル昇降モジュールを提案する。ネットワーク設計に加えて。 2)Geometric-Semantic Decoupled Learning(GSDL)戦略も提案する。この戦略は最初、接地構造深度を用いて正確な幾何学のセマンティクスを学習し、その後予測された深度を徐々に混合して予測された幾何にモデルを適応させる。 Occ3D-nuScenesベンチマークによる大規模な実験により,20.0FPSの39.4mIoUを実現した。この結果は、CVPR2023 3D Occupancy Prediction Challengeの勝者であるFB-OCCと比較して、$\sim 3 \times$ faster and +1.9 mIoU である。私たちのコードはオープンソースにされます。

関連論文リスト

WidthFormer: Toward Efficient Transformer-based BEV View Transformation [23.055953867959744]
WidthFormerは計算効率が高く、堅牢で、デプロイに特別なエンジニアリング作業を必要としない。本稿では,3次元幾何情報を正確にカプセル化できる新しい3次元位置符号化機構を提案する。私たちのモデルは極めて効率的です。例えば、256タイムの704ドルの入力イメージを使用すると、NVIDIA 3090 GPUとHorizon Journey-5ソリューションで1.5ミリ秒と2.8ミリ秒のレイテンシを実現します。
論文参考訳（メタデータ） (2024-01-08T11:50:23Z)
BEV-IO: Enhancing Bird's-Eye-View 3D Detection with Instance Occupancy [58.92659367605442]
我々は,BEV表現をインスタンス占有情報で拡張する新しい3次元検出パラダイムであるBEV-IOを提案する。 BEV-IOは、パラメータや計算オーバーヘッドの無視できる増加しか加えず、最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-26T11:16:12Z)
Fully Sparse Fusion for 3D Object Detection [69.32694845027927]
現在広く使われているマルチモーダル3D検出法は、通常、密度の高いBird-Eye-View特徴マップを使用するLiDARベースの検出器上に構築されている。完全にスパースなアーキテクチャは、長距離知覚において非常に効率的であるため、注目を集めている。本稿では,新たに出現するフルスパースアーキテクチャにおいて,画像のモダリティを効果的に活用する方法を検討する。
論文参考訳（メタデータ） (2023-04-24T17:57:43Z)
CAGroup3D: Class-Aware Grouping for 3D Object Detection on Point Clouds [55.44204039410225]
本稿では,CAGroup3Dという新しい2段階完全スパース3Dオブジェクト検出フレームワークを提案する。提案手法は,まず,オブジェクト表面のボクセル上でのクラス認識型局所群戦略を活用することによって,高品質な3D提案を生成する。不正なボクセルワイドセグメンテーションにより欠落したボクセルの特徴を回復するために,完全にスパースな畳み込み型RoIプールモジュールを構築した。
論文参考訳（メタデータ） (2022-10-09T13:38:48Z)
Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
論文参考訳（メタデータ） (2021-07-29T12:30:39Z)
Self-supervised Depth Estimation Leveraging Global Perception and Geometric Smoothness Using On-board Videos [0.5276232626689566]
我々は,グローバルな特徴と局所的な特徴を同時に抽出する画素ワイド深度推定のためのDLNetを提案する。幾何学的に自然な深度マップを予測するために3次元形状の滑らかさ損失を提案する。 KITTIとMake3Dベンチマークの実験では、提案したDLNetは最先端の手法と競合する性能を実現している。
論文参考訳（メタデータ） (2021-06-07T10:53:27Z)
BEVDetNet: Bird's Eye View LiDAR Point Cloud based Real-time 3D Object Detection for Autonomous Driving [6.389322215324224]
キーポイント,ボックス予測,方向予測を用いたオブジェクト中心検出のための単一統一モデルとして,新しいセマンティックセマンティックセマンティクスアーキテクチャを提案する。提案されたアーキテクチャは簡単に拡張でき、追加の計算なしで Road のようなセマンティックセグメンテーションクラスを含めることができる。モデルは、KITTIデータセット上のIoU=0.5の平均精度で2%の最小精度の劣化で、他のトップ精度モデルよりも5倍高速です。
論文参考訳（メタデータ） (2021-04-21T22:06:39Z)
Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文参考訳（メタデータ） (2020-11-26T04:04:21Z)
Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
論文参考訳（メタデータ） (2020-09-02T00:51:51Z)
Scan-based Semantic Segmentation of LiDAR Point Clouds: An Experimental Study [2.6205925938720833]
最先端の手法では、深いニューラルネットワークを使用して、LiDARスキャンの各点のセマンティッククラスを予測する。 LiDAR測定を処理するための強力で効率的な方法は、2次元の画像のような投影を使うことである。メモリの制約だけでなく、パフォーマンスの向上やランタイムの改善など、さまざまなテクニックを実証する。
論文参考訳（メタデータ） (2020-04-06T11:08:12Z)
3D Sketch-aware Semantic Scene Completion via Semi-supervised Structure Prior [50.73148041205675]
セマンティック・シーン・コンプリート(SSC)タスクの目標は、単一視点で観察することで、ボリューム占有率とシーン内のオブジェクトの意味ラベルの完全な3Dボクセル表現を同時に予測することである。低解像度のボクセル表現で深度情報を埋め込む新しい幾何学的手法を提案する。提案手法は,SSCフレームワークからの深度特徴学習よりも有効である。
論文参考訳（メタデータ） (2020-03-31T09:33:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。