論文の概要: HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception

• arxiv url: http://arxiv.org/abs/2201.06644v1
• Date: Mon, 17 Jan 2022 22:19:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 16:16:58.855357
• Title: HydraFusion: Context-Aware Selective Sensor Fusion for Robust and Efficient Autonomous Vehicle Perception
• Title（参考訳）: HydraFusion:ロバストで効率的な自律走行車知覚のためのコンテキスト対応選択型センサフュージョン
• Authors: Arnav Vaibhav Malawade, Trier Mortlock, Mohammad Abdullah Al Faruque
• Abstract要約: 自律走行車(AV)の知覚を改善するために、カメラ、レーダー、ライダーセンサーからのセンサデータを融合する技術が提案されている。 既存の手法は、融合実装の剛性のため、困難な運転環境では不十分に堅牢である。 提案するHydraFusionは、現在の運転状況を特定し、センサの最良の組み合わせを融合する選択的なセンサー融合フレームワークである。
• 参考スコア（独自算出の注目度）: 9.975955132759385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although autonomous vehicles (AVs) are expected to revolutionize transportation, robust perception across a wide range of driving contexts remains a significant challenge. Techniques to fuse sensor data from camera, radar, and lidar sensors have been proposed to improve AV perception. However, existing methods are insufficiently robust in difficult driving contexts (e.g., bad weather, low light, sensor obstruction) due to rigidity in their fusion implementations. These methods fall into two broad categories: (i) early fusion, which fails when sensor data is noisy or obscured, and (ii) late fusion, which cannot leverage features from multiple sensors and thus produces worse estimates. To address these limitations, we propose HydraFusion: a selective sensor fusion framework that learns to identify the current driving context and fuses the best combination of sensors to maximize robustness without compromising efficiency. HydraFusion is the first approach to propose dynamically adjusting between early fusion, late fusion, and combinations in-between, thus varying both how and when fusion is applied. We show that, on average, HydraFusion outperforms early and late fusion approaches by 13.66% and 14.54%, respectively, without increasing computational complexity or energy consumption on the industry-standard Nvidia Drive PX2 AV hardware platform. We also propose and evaluate both static and deep-learning-based context identification strategies. Our open-source code and model implementation are available at https://github.com/AICPS/hydrafusion.
• Abstract（参考訳）: 自動運転車(AV)は輸送に革命をもたらすと期待されているが、幅広い運転状況における堅牢な認識は依然として大きな課題である。 AV知覚を改善するために、カメラ、レーダー、ライダーセンサーからのセンサデータを融合する技術が提案されている。 しかし、既存の手法は、核融合実装の剛性により、困難な運転環境(例えば、悪天候、低照度、センサーの妨害など)では十分に堅牢である。 これらの方法は2つの幅広いカテゴリーに分類される。 (i)初期の融合で、センサデータがノイズや不明瞭な場合に故障し、 (II)遅延融合は複数のセンサの特徴を生かし得ないため、より悪い推定を導出する。 これらの制限に対処するために,我々は,現在の運転状況を特定し,効率を損なうことなくロバスト性を最大化するために,センサの最適な組み合わせを融合する選択的センサー融合フレームワークであるhydrafusionを提案する。 水和反応は、初期核融合、後期核融合、中間核融合の組み合わせを動的に調整することを提案する最初のアプローチである。 我々は、HydraFusionが、業界標準のNvidia Drive PX2 AVハードウェアプラットフォームにおいて、計算複雑性やエネルギー消費を増大させることなく、それぞれ13.66%と14.54%の早期と後期の融合アプローチより優れていることを示した。 また,静的および深層学習に基づく文脈識別手法を提案する。 当社のオープンソースコードとモデルの実装は、https://github.com/aicps/hydrafusionで利用可能です。

関連論文リスト

• Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving [63.96049803915402]
  多様なセンサーのモダリティからのデータの統合は、自律運転のシナリオにおいて一般的な方法論となっている。 効率的な点雲変換器の最近の進歩は、スパースフォーマットにおける情報統合の有効性を裏付けている。 本稿では,Transformer を用いた sparse cameraLiDAR 融合における設計選択を包括的に検討する。
  論文  参考訳（メタデータ） (2024-08-13T11:46:32Z)
• Sensor Fusion by Spatial Encoding for Autonomous Driving [1.319058156672392]
  本稿では,カメラとLiDARのデータを融合する手法を提案する。 複数の解像度でTransformerモジュールを利用することで、ローカルおよびグローバルなコンテキスト関係を効果的に組み合わせることができる。 提案手法は, 従来の手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2023-08-17T04:12:02Z)
• CRAFT: Camera-Radar 3D Object Detection with Spatio-Contextual Fusion Transformer [14.849645397321185]
  カメラレーダーセンサーは、LiDARと比較してコスト、信頼性、メンテナンスにおいて大きな利点がある。 既存の融合法はしばしば、後期融合戦略(英語版)と呼ばれる結果レベルで単一のモダリティの出力を融合させる。 本稿では,3次元物体検出のためのカメラとレーダーの空間的特性と文脈的特性を効果的に活用する提案レベルの早期融合手法を提案する。 我々のカメラレーダ融合アプローチは、カメラ専用ベースラインよりも8.7および10.8ポイント高いnuScenesテストセット上で、41.1% mAPと52.3% NDSの最先端を実現し、また、カメラ上での競争性能を得る。
  論文  参考訳（メタデータ） (2022-09-14T10:25:30Z)
• Safety-Enhanced Autonomous Driving Using Interpretable Sensor Fusion Transformer [28.15612357340141]
  我々は、InterFuser(Interpretable Sensor Fusion Transformer)という安全強化型自律走行フレームワークを提案する。 我々は、総合的なシーン理解と対向事象検出を実現するために、マルチモーダル・マルチビューセンサーからの情報を処理し、融合する。 私たちのフレームワークは、よりセマンティクスを提供し、安全なセット内のアクションをよりよく制約するために利用されます。
  論文  参考訳（メタデータ） (2022-07-28T11:36:21Z)
• AFT-VO: Asynchronous Fusion Transformers for Multi-View Visual Odometry Estimation [39.351088248776435]
  複数のセンサからVOを推定する新しいトランスフォーマーベースのセンサ融合アーキテクチャであるAFT-VOを提案する。 本フレームワークは,非同期マルチビューカメラからの予測と,異なる情報源からの計測の時間的差を考慮に入れたものである。 実験により,VO推定のための多視点融合により,頑健かつ正確な軌道が得られ,難易度と照明条件の両方において高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-06-26T19:29:08Z)
• TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers [49.689566246504356]
  そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。 TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。 提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
  論文  参考訳（メタデータ） (2022-03-22T07:15:13Z)
• DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection [83.18142309597984]
  ライダーとカメラは、自動運転における3D検出を補完する情報を提供する重要なセンサーである。 我々はDeepFusionという名前の汎用マルチモーダル3D検出モデル群を開発した。
  論文  参考訳（メタデータ） (2022-03-15T18:46:06Z)
• Detecting Safety Problems of Multi-Sensor Fusion in Autonomous Driving [18.39664775350204]
  マルチセンサー融合(MSF)は、センサー入力を融合させ、周囲のより信頼性の高い理解を生み出すために用いられる。 業界グレードのアドバンストドライバー支援システム(ADAS)におけるMSF手法は、車の制御を誤解させ、深刻な安全上の危険をもたらす可能性がある。 本研究では,新しい進化的ドメイン固有探索フレームワークFusionFuzzを開発した。
  論文  参考訳（メタデータ） (2021-09-14T02:35:34Z)
• LIF-Seg: LiDAR and Camera Image Fusion for 3D LiDAR Semantic Segmentation [78.74202673902303]
  本稿では,LiDAR分割のための粗大なLiDARとカメラフュージョンベースネットワーク(LIF-Seg)を提案する。 提案手法は,画像の文脈情報を完全に活用し,単純だが効果的な早期融合戦略を導入する。 これら2つのコンポーネントの協力により、効果的なカメラ-LiDAR融合が成功する。
  論文  参考訳（メタデータ） (2021-08-17T08:53:11Z)
• Multimodal Object Detection via Bayesian Fusion [59.31437166291557]
  我々は、RGBとサーマルカメラでマルチモーダルオブジェクト検出を研究します。後者は照明不良下ではるかに強力なオブジェクトシグネチャを提供することができます。 我々の重要な貢献は、異なるモードのボックス検出を融合する非学習遅延融合法である。 このアプローチは、整列(KAIST)と非整列(FLIR)のマルチモーダルセンサーデータを含むベンチマークに適用されます。
  論文  参考訳（メタデータ） (2021-04-07T04:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。