論文の概要: BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework

• arxiv url: http://arxiv.org/abs/2205.13790v1
• Date: Fri, 27 May 2022 06:58:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 03:53:18.528280
• Title: BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework
• Title（参考訳）: BEVFusion:シンプルでロバストなLiDARカメラフュージョンフレームワーク
• Authors: Tingting Liang, Hongwei Xie, Kaicheng Yu, Zhongyu Xia, Zhiwei Lin, Yongtao Wang, Tao Tang, Bing Wang, Zhi Tang
• Abstract要約: 現在の手法では、LiDARセンサーの点雲をクエリとして利用し、画像空間の機能を活用している。 我々は、カメラストリームがLiDARデータの入力に依存しないBEVFusionと呼ばれる驚くほど単純で斬新な融合フレームワークを提案する。 通常のトレーニング環境下では,我々のフレームワークが最先端の手法を超越していることを実証的に示す。
• 参考スコア（独自算出の注目度）: 20.842800465250775
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Fusing the camera and LiDAR information has become a de-facto standard for 3D object detection tasks. Current methods rely on point clouds from the LiDAR sensor as queries to leverage the feature from the image space. However, people discover that this underlying assumption makes the current fusion framework infeasible to produce any prediction when there is a LiDAR malfunction, regardless of minor or major. This fundamentally limits the deployment capability to realistic autonomous driving scenarios. In contrast, we propose a surprisingly simple yet novel fusion framework, dubbed BEVFusion, whose camera stream does not depend on the input of LiDAR data, thus addressing the downside of previous methods. We empirically show that our framework surpasses the state-of-the-art methods under the normal training settings. Under the robustness training settings that simulate various LiDAR malfunctions, our framework significantly surpasses the state-of-the-art methods by 15.7% to 28.9% mAP. To the best of our knowledge, we are the first to handle realistic LiDAR malfunction and can be deployed to realistic scenarios without any post-processing procedure. The code is available at https://github.com/ADLab-AutoDrive/BEVFusion.
• Abstract（参考訳）: カメラとLiDAR情報の融合は、3Dオブジェクト検出タスクのデファクトスタンダードになっている。 現在の手法では、LiDARセンサーの点雲をクエリとして利用し、画像空間の機能を活用している。 しかし、この基礎となる仮定は、現在の融合フレームワークが、マイナーやメジャーに関わらず、LiDARの誤動作が発生した場合の予測を生成できないことを人々は理解している。 これにより、デプロイメント能力を現実的な自律運転シナリオに根本的に制限する。 対照的に,カメラストリームはLiDARデータの入力に依存しないため,従来の手法の欠点に対処する,驚くほど単純かつ斬新な融合フレームワークであるBEVFusionを提案する。 通常のトレーニング環境下では,我々のフレームワークが最先端の手法を上回ることを実証的に示す。 様々なLiDARの故障をシミュレートする堅牢性トレーニング設定の下では、我々のフレームワークは最先端の手法を15.7%から28.9%まで大幅に上回っている。 我々の知る限りでは、我々は初めて現実的なLiDARの誤動作を処理し、後処理の手順を使わずに現実的なシナリオにデプロイできる。 コードはhttps://github.com/ADLab-AutoDrive/BEVFusion.comから入手できる。

関連論文リスト

• LiDAR-GS:Real-time LiDAR Re-Simulation using Gaussian Splatting [50.808933338389686]
  LiDARシミュレーションは、自動運転におけるクローズドループシミュレーションにおいて重要な役割を果たす。 都市景観におけるLiDARセンサスキャンをリアルタイムに再現するために,最初のLiDARガウス法であるLiDAR-GSを提案する。 我々の手法は、深度、強度、レイドロップチャンネルを同時に再現することに成功し、公開可能な大規模シーンデータセットにおけるフレームレートと品質の両方のレンダリング結果を達成する。
  論文  参考訳（メタデータ） (2024-10-07T15:07:56Z)
• Zero-Reference Low-Light Enhancement via Physical Quadruple Priors [58.77377454210244]
  本稿では,標準光画像のみをトレーニング可能な,ゼロ参照低光強調フレームワークを提案する。 このフレームワークは、画像にさかのぼる照明不変性を復元し、自動的に低照度化を実現します。
  論文  参考訳（メタデータ） (2024-03-19T17:36:28Z)
• UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation [51.443788294845845]
  我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。 スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。 個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
  論文  参考訳（メタデータ） (2023-11-02T17:57:03Z)
• LiDAR-UDA: Self-ensembling Through Time for Unsupervised LiDAR Domain Adaptation [22.206488779765234]
  LiDARセグメンテーションのための新しい2段階自己学習型Unsupervised Domain Adaptation (UDA) 手法であるLiDAR-UDAを紹介する。 本稿では,センサの誤差を低減し,擬似ラベル品質を向上させる2つの手法を提案する。 提案手法をいくつかの公開LiDARデータセット上で評価し,最先端の手法を平均3.9%以上のmIoUで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-09-24T02:02:00Z)
• LiDAR View Synthesis for Robust Vehicle Navigation Without Expert Labels [50.40632021583213]
  我々は、危険な位置で物理的に運転することなく、新しい視点からLiDAR点雲を合成することを提案する。 我々は、LiDARスキャンを入力とし、将来の軌跡を出力として予測するディープラーニングモデルを訓練する。 次に、この予測軌道にウェイポイントコントローラを適用して、エゴ車両のスロットルおよびステアリングラベルを決定する。
  論文  参考訳（メタデータ） (2023-08-02T20:46:43Z)
• MaskedFusion360: Reconstruct LiDAR Data by Querying Camera Features [11.28654979274464]
  自動運転アプリケーションでは、LiDARデータは3Dにおける距離に関する正確な情報を提供するが、カメラデータのセマンティック・リッチネスは欠如している。 我々は、LiDARとカメラデータを融合する新しい自己教師方式を、自動運転アプリケーションに導入する。
  論文  参考訳（メタデータ） (2023-06-12T13:01:33Z)
• Online LiDAR-Camera Extrinsic Parameters Self-checking [12.067216966113708]
  本稿では,2進分類ネットワークを導入することにより,外部パラメータが適切に校正されているかどうかを判断する自己チェックアルゴリズムを提案する。 コードはGithubのWebサイトでhttps://github.com/OpenCalib/LiDAR2camera_self-checkで公開されている。
  論文  参考訳（メタデータ） (2022-10-19T13:17:48Z)
• Multi-modal Streaming 3D Object Detection [20.01800869678355]
  本稿では,革新的なカメラ-LiDARストリーミング3Dオブジェクト検出フレームワークを提案する。 過去のLiDARスライスの代わりにカメライメージを使用して、ストリーミング知覚のための最新で高密度で広いコンテキストを提供する。 提案手法は, カメラ画像の欠落, 狭いLiDARスライス, 小型カメラとLiDARの誤校正に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2022-09-12T00:30:52Z)
• Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object Detection [58.81316192862618]
  自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。 これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。 我々は、最先端の核融合法を初めてベンチマークした。
  論文  参考訳（メタデータ） (2022-05-30T09:35:37Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• DeepLiDARFlow: A Deep Learning Architecture For Scene Flow Estimation Using Monocular Camera and Sparse LiDAR [10.303618438296981]
  シーンフロー(Scene flow)とは、シーンの動きと幾何学を3Dで再現する手法である。 ほとんどの最先端の手法では、ステレオ画像のペアをフルシーン再構築のための入力として利用する。 DeepLiDARFlowは、複数のスケールで高レベルのRGBとLiDAR機能を融合する、新しいディープラーニングアーキテクチャである。
  論文  参考訳（メタデータ） (2020-08-18T19:51:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。