論文の概要: AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving

• arxiv url: http://arxiv.org/abs/2302.08646v1
• Date: Fri, 17 Feb 2023 01:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 16:16:49.977291
• Title: AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving
• Title（参考訳）: autofed:ロバストな自動運転のためのヘテロゲニティアウェアフェデレーション型マルチモーダル学習
• Authors: Tianyue Zheng, Ang Li, Zhe Chen, Hongbo Wang, and Jun Luo
• Abstract要約: AutoFedは、自動運転車のマルチモーダルセンサーデータをフル活用するためのフレームワークである。 本研究では, 未知の物体を背景として誤って扱うことを避けるために, 擬似ラベルを用いた新しいモデルを提案する。 また、欠落したデータモダリティを補うために、オートエンコーダに基づくデータ計算手法を提案する。
• 参考スコア（独自算出の注目度）: 15.486799633600423
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Object detection with on-board sensors (e.g., lidar, radar, and camera) play a crucial role in autonomous driving (AD), and these sensors complement each other in modalities. While crowdsensing may potentially exploit these sensors (of huge quantity) to derive more comprehensive knowledge, \textit{federated learning} (FL) appears to be the necessary tool to reach this potential: it enables autonomous vehicles (AVs) to train machine learning models without explicitly sharing raw sensory data. However, the multimodal sensors introduce various data heterogeneity across distributed AVs (e.g., label quantity skews and varied modalities), posing critical challenges to effective FL. To this end, we present AutoFed as a heterogeneity-aware FL framework to fully exploit multimodal sensory data on AVs and thus enable robust AD. Specifically, we first propose a novel model leveraging pseudo-labeling to avoid mistakenly treating unlabeled objects as the background. We also propose an autoencoder-based data imputation method to fill missing data modality (of certain AVs) with the available ones. To further reconcile the heterogeneity, we finally present a client selection mechanism exploiting the similarities among client models to improve both training stability and convergence rate. Our experiments on benchmark dataset confirm that AutoFed substantially improves over status quo approaches in both precision and recall, while demonstrating strong robustness to adverse weather conditions.
• Abstract（参考訳）: 搭載されたセンサー(ライダー、レーダー、カメラなど)による物体検出は、自律走行(AD)において重要な役割を果たす。 クラウドセンシングは、これらのセンサー(膨大な量の)を利用してより包括的な知識を導出する可能性があるが、この可能性に到達するために必要なツールとして、 \textit{federated learning} (fl) がある。 しかし、マルチモーダルセンサは分散avにまたがる様々なデータ不均一性(ラベル量スキューや様々なモダリティなど)を導入し、効果的なflにとって重要な課題となっている。 そこで我々はAutoFedを異機種対応FLフレームワークとして,AV上のマルチモーダルセンサデータをフル活用し,ロバストADを実現する。 具体的には,非ラベルオブジェクトを背景として誤って扱うことを避けるために,擬似ラベルを用いた新しいモデルを提案する。 また,avsの欠落したデータモダリティを利用可能なデータに埋め込む自動エンコーダベースのデータインプテーション手法を提案する。 この不均一性をさらに改善するために,クライアントモデル間の類似性を利用して,トレーニング安定性と収束率の両方を改善するクライアント選択機構を提案する。 ベンチマークデータを用いた実験により,AutoFedは精度とリコールの両面で現状クオアプローチを大幅に改善し,悪天候条件に対する強い堅牢性を示した。

関連論文リスト

• Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
  本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。 本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。 提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
  論文  参考訳（メタデータ） (2024-11-06T06:58:17Z)
• XAI-based Feature Ensemble for Enhanced Anomaly Detection in Autonomous Driving Systems [1.3022753212679383]
  本稿では,複数の Explainable AI (XAI) メソッドを統合する新しい機能アンサンブルフレームワークを提案する。 このフレームワークは、6つの多様なAIモデルにまたがって、これらのXAIメソッドによって識別されるトップ機能を融合することによって、異常の検出に不可欠な堅牢で包括的な機能のセットを生成する。 我々の技術は、AIモデルの精度、堅牢性、透明性の向上を示し、より安全で信頼性の高い自動運転システムに貢献します。
  論文  参考訳（メタデータ） (2024-10-20T14:34:48Z)
• Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Reason2Drive: Towards Interpretable and Chain-based Reasoning for Autonomous Driving [38.28159034562901]
  Reason2Driveは600万以上のビデオテキストペアを備えたベンチマークデータセットである。 我々は、自律運転プロセスが知覚、予測、推論ステップの逐次的な組み合わせであると特徴付けている。 本稿では,自律システムにおける連鎖型推論性能を評価するための新しい集計評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-06T18:32:33Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• SHIFT: A Synthetic Driving Dataset for Continuous Multi-Task Domain Adaptation [152.60469768559878]
  ShiFTは、自動運転のための最大規模のマルチタスク合成データセットである。 曇り、雨と霧の強さ、昼の時間、車と歩行者の密度を個別に連続的に変化させる。 私たちのデータセットとベンチマークツールキットはwww.vis.xyz/shift.comで公開されています。
  論文  参考訳（メタデータ） (2022-06-16T17:59:52Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)
• High-Precision Digital Traffic Recording with Multi-LiDAR Infrastructure Sensor Setups [0.0]
  融解したLiDAR点雲と単一LiDAR点雲との差について検討した。 抽出した軌道の評価は, 融合インフラストラクチャーアプローチが追跡結果を著しく増加させ, 数cm以内の精度に達することを示す。
  論文  参考訳（メタデータ） (2020-06-22T10:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。