論文の概要: Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.03702v1
• Date: Wed, 06 Nov 2024 06:58:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:22:42.459702
• Title: Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving
• Title（参考訳）: グラフベース多モードセンサフュージョンによる自律走行
• Authors: Depanshu Sani, Saket Anand,
• Abstract要約: 本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。 本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。 提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
• 参考スコア（独自算出の注目度）: 3.770103075126785
• License:
• Abstract: The growing demand for robust scene understanding in mobile robotics and autonomous driving has highlighted the importance of integrating multiple sensing modalities. By combining data from diverse sensors like cameras and LIDARs, fusion techniques can overcome the limitations of individual sensors, enabling a more complete and accurate perception of the environment. We introduce a novel approach to multi-modal sensor fusion, focusing on developing a graph-based state representation that supports critical decision-making processes in autonomous driving. We present a Sensor-Agnostic Graph-Aware Kalman Filter [3], the first online state estimation technique designed to fuse multi-modal graphs derived from noisy multi-sensor data. The estimated graph-based state representations serve as a foundation for advanced applications like Multi-Object Tracking (MOT), offering a comprehensive framework for enhancing the situational awareness and safety of autonomous systems. We validate the effectiveness of our proposed framework through extensive experiments conducted on both synthetic and real-world driving datasets (nuScenes). Our results showcase an improvement in MOTA and a reduction in estimated position errors (MOTP) and identity switches (IDS) for tracked objects using the SAGA-KF. Furthermore, we highlight the capability of such a framework to develop methods that can leverage heterogeneous information (like semantic objects and geometric structures) from various sensing modalities, enabling a more holistic approach to scene understanding and enhancing the safety and effectiveness of autonomous systems.
• Abstract（参考訳）: モバイルロボティクスと自律運転における堅牢なシーン理解の需要が高まっており、複数のセンシングモダリティを統合することの重要性が強調されている。 カメラやLIDARなどの多様なセンサーのデータを組み合わせることで、融合技術は個々のセンサーの限界を克服し、環境をより完全かつ正確に認識することができる。 本稿では,自律運転における重要な意思決定プロセスを支援するグラフベースの状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。 ノイズの多いマルチセンサデータから導出されるマルチモーダルグラフを融合させるように設計された,最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filter [3]を提案する。 グラフベースの状態表現は、マルチオブジェクト追跡(MOT)のような高度なアプリケーションの基盤として機能し、自律システムの状況認識と安全性を高めるための包括的なフレームワークを提供する。 提案手法の有効性を,合成および実世界の運転データセット(nuScenes)を用いた広範囲な実験により検証した。 以上の結果から,SAGA-KFを用いた追跡対象に対するMOTAの改善と推定位置誤差(MOTP)とIDS(IDS)の低減が示された。 さらに,このようなフレームワークが,様々な感覚的モダリティから異種情報(セマンティックオブジェクトや幾何学的構造など)を活用できる手法を開発する能力を強調し,シーンの理解と自律システムの安全性と有効性を高めるための,より包括的なアプローチを可能にする。

関連論文リスト

• XAI-based Feature Ensemble for Enhanced Anomaly Detection in Autonomous Driving Systems [1.3022753212679383]
  本稿では,複数の Explainable AI (XAI) メソッドを統合する新しい機能アンサンブルフレームワークを提案する。 このフレームワークは、6つの多様なAIモデルにまたがって、これらのXAIメソッドによって識別されるトップ機能を融合することによって、異常の検出に不可欠な堅牢で包括的な機能のセットを生成する。 我々の技術は、AIモデルの精度、堅牢性、透明性の向上を示し、より安全で信頼性の高い自動運転システムに貢献します。
  論文  参考訳（メタデータ） (2024-10-20T14:34:48Z)
• Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors [6.166992288822812]
  複雑なトラフィックシナリオを通じて、より安全で効率的なナビゲーションを実現する上で、マルチオブジェクトトラッキングは重要な役割を果たす。 本稿では,自律走行システムにおける複数物体追跡の精度とロバスト性を高めるために,レーダデータとカメラデータを統合した新しいディープラーニング方式を提案する。
  論文  参考訳（メタデータ） (2024-07-10T21:09:09Z)
• Random resistive memory-based deep extreme point learning machine for unified visual processing [67.51600474104171]
  ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。 我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
  論文  参考訳（メタデータ） (2023-12-14T09:46:16Z)
• LCPR: A Multi-Scale Attention-Based LiDAR-Camera Fusion Network for Place Recognition [11.206532393178385]
  本稿では,マルチモーダル位置認識のための新しいニューラルネットワークLCPRを提案する。 位置認識性能を向上させるために,マルチビューカメラとLiDARデータを効果的に利用することができる。
  論文  参考訳（メタデータ） (2023-11-06T15:39:48Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving [15.486799633600423]
  AutoFedは、自動運転車のマルチモーダルセンサーデータをフル活用するためのフレームワークである。 本研究では, 未知の物体を背景として誤って扱うことを避けるために, 擬似ラベルを用いた新しいモデルを提案する。 また、欠落したデータモダリティを補うために、オートエンコーダに基づくデータ計算手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T01:31:53Z)
• Exploring Contextual Representation and Multi-Modality for End-to-End Autonomous Driving [58.879758550901364]
  最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。 我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。 提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
  論文  参考訳（メタデータ） (2022-10-13T05:56:20Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)
• Learning Selective Sensor Fusion for States Estimation [47.76590539558037]
  本稿では,エンド・ツー・エンドのセンサ・フュージョン・モジュールであるSelectFusionを提案する。 予測中、ネットワークは異なるセンサーモードから潜伏する特徴の信頼性を評価することができる。 我々は、公開データセットと漸進的に劣化したデータセットの両方において、すべての融合戦略を広範囲に評価する。
  論文  参考訳（メタデータ） (2019-12-30T20:25:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。