論文の概要: DiffBEV: Conditional Diffusion Model for Bird's Eye View Perception
- arxiv url: http://arxiv.org/abs/2303.08333v1
- Date: Wed, 15 Mar 2023 02:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 14:56:19.775074
- Title: DiffBEV: Conditional Diffusion Model for Bird's Eye View Perception
- Title(参考訳): DiffBEV:鳥類の視線知覚のための条件拡散モデル
- Authors: Jiayu Zou, Zheng Zhu, Yun Ye, Xingang Wang
- Abstract要約: そこで我々は,より包括的なBEV表現を生成するために拡散モデルの可能性を活用するために,DiffBEVというエンドツーエンドフレームワークを提案する。
実際に,粗いサンプルを識別し,意味的特徴を洗練する拡散モデルの訓練を指導する3種類の条件を設計する。
DiffBEV が nuScenes データセット上で 25.9% mIoU を達成することを示す。
- 参考スコア(独自算出の注目度): 14.968177102647783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: BEV perception is of great importance in the field of autonomous driving,
serving as the cornerstone of planning, controlling, and motion prediction. The
quality of the BEV feature highly affects the performance of BEV perception.
However, taking the noises in camera parameters and LiDAR scans into
consideration, we usually obtain BEV representation with harmful noises.
Diffusion models naturally have the ability to denoise noisy samples to the
ideal data, which motivates us to utilize the diffusion model to get a better
BEV representation. In this work, we propose an end-to-end framework, named
DiffBEV, to exploit the potential of diffusion model to generate a more
comprehensive BEV representation. To the best of our knowledge, we are the
first to apply diffusion model to BEV perception. In practice, we design three
types of conditions to guide the training of the diffusion model which denoises
the coarse samples and refines the semantic feature in a progressive way.
What's more, a cross-attention module is leveraged to fuse the context of BEV
feature and the semantic content of conditional diffusion model. DiffBEV
achieves a 25.9% mIoU on the nuScenes dataset, which is 6.2% higher than the
best-performing existing approach. Quantitative and qualitative results on
multiple benchmarks demonstrate the effectiveness of DiffBEV in BEV semantic
segmentation and 3D object detection tasks. The code will be available soon.
- Abstract(参考訳): BEVの認識は、自律運転の分野で非常に重要であり、計画、制御、動き予測の基盤となっている。
BEV機能の品質は、BEV知覚の性能に大きく影響する。
しかし、カメラパラメータやLiDARスキャンのノイズを考慮すると、有害ノイズを伴うBEV表現が得られるのが普通である。
拡散モデルには自然にノイズのあるサンプルを理想的なデータに分解する能力があり、拡散モデルを利用してより良いBEV表現を得る動機となる。
本研究では,拡散モデルの可能性を利用して,より包括的なBEV表現を生成するエンドツーエンドフレームワークDiffBEVを提案する。
私たちの知る限りでは、BEVの知覚に拡散モデルを適用するのは初めてです。
実際には,粗いサンプルを発音し,意味的特徴を漸進的に洗練する拡散モデルのトレーニングを指導するために,3種類の条件を設計する。
さらに、クロスアテンションモジュールを使用して、BEV機能と条件拡散モデルのセマンティック内容のコンテキストを融合します。
DiffBEVは、nuScenesデータセット上で25.9%のmIoUを達成する。
複数のベンチマークにおける定量および定性的な結果は、BEVセマンティックセグメンテーションと3Dオブジェクト検出タスクにおけるDiffBEVの有効性を示す。
コードはもうすぐ入手できる。
関連論文リスト
- VeCAF: VLM-empowered Collaborative Active Finetuning with Training
Objective Awareness [58.40419742596087]
PVM(Pretrained Vision Model)は、下流の視覚タスクを学習するための一般的なテクニックである。
VLMを用いた協調型アクティブファインタニング(VeCAF)を提案する。
VeCAFは、調整中のモデルのトレーニング目標を組み込むことで、パラメトリックデータ選択モデルを最適化する。
論文 参考訳(メタデータ) (2024-01-15T17:28:37Z) - DA-BEV: Unsupervised Domain Adaptation for Bird's Eye View Perception [111.13119809216313]
カメラのみのBird's Eye View (BEV)は3次元空間における環境認識に大きな可能性を示した。
非教師なし領域適応型BEVは、様々な未ラベル対象データから効果的に学習するが、まだ未探索である。
DA-BEVは、画像ビュー機能とBEV機能の相補性を利用して、ドメイン適応型BEV課題に対処する、最初のドメイン適応型カメラのみのBEVフレームワークである。
論文 参考訳(メタデータ) (2024-01-13T04:21:24Z) - Diffusion-Based Particle-DETR for BEV Perception [94.88305708174796]
Bird-Eye-View (BEV)は、自律走行車(AV)における視覚知覚のための最も広く使われているシーンの1つである。
近年の拡散法は、視覚知覚のための不確実性モデリングに有望なアプローチを提供するが、BEVの広い範囲において、小さな物体を効果的に検出することができない。
本稿では,BEVにおける拡散パラダイムと最先端の3Dオブジェクト検出器を組み合わせることで,この問題に対処する。
論文 参考訳(メタデータ) (2023-12-18T09:52:14Z) - QD-BEV : Quantization-aware View-guided Distillation for Multi-view 3D
Object Detection [57.019527599167255]
BEV (bird-eye-view) に基づく多視点3D検出は、最近大幅に改善されている。
本稿では,BEVタスクに量子化を直接適用することで,トレーニングが不安定になり,性能劣化が許容できないことを示す。
QD-BEVにより,新しいビュー誘導蒸留(VGD)の目標が実現され,QAT(量子化対応トレーニング)の安定化が図られ,モデル性能が向上する。
論文 参考訳(メタデータ) (2023-08-21T07:06:49Z) - FB-BEV: BEV Representation from Forward-Backward View Transformations [131.11787050205697]
本稿では,Bird-Eye-View (BEV) 表現のためのビュートランスフォーメーションモジュール (VTM) を提案する。
我々は提案したモジュールをFB-BEVでインスタンス化し、nuScenesテストセット上で62.4%のNDSの最先端結果を達成する。
論文 参考訳(メタデータ) (2023-08-04T10:26:55Z) - RoboBEV: Towards Robust Bird's Eye View Perception under Corruptions [34.111443808494506]
我々は、Bright、Dark、Fog、Snow、Motion Blur、Color Quant、Camera Crash、Frame Lostを含む8つの異なる汚職を含む総合的なベンチマークスイートであるRoboBEVを紹介した。
これに基づいて、我々は幅広いBEVベースのモデルに対して広範囲な評価を行い、そのレジリエンスと信頼性を理解します。
我々の発見は、現実の展開において正確性と堅牢性を両立できる将来のBEVモデルを設計するための貴重な洞察を提供する。
論文 参考訳(メタデータ) (2023-04-13T17:59:46Z) - Understanding the Robustness of 3D Object Detection with Bird's-Eye-View
Representations in Autonomous Driving [31.98600806479808]
Bird's-Eye-View (BEV)表現は、一般的なベンチマークでカメラ入力を備えた3D検出器の性能を大幅に改善した。
様々な代表モデルの自然的・敵対的ロバスト性を広範囲な環境下で評価する。
本稿では,時間的3次元空間に逆パッチを適用して,その整合性を保証する3次元一貫したパッチアタックを提案する。
論文 参考訳(メタデータ) (2023-03-30T11:16:58Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳(メタデータ) (2022-03-11T10:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。