論文の概要: MMCD: Multi-Modal Collaborative Decision-Making for Connected Autonomy with Knowledge Distillation
- arxiv url: http://arxiv.org/abs/2509.18198v1
- Date: Fri, 19 Sep 2025 23:38:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-24 20:41:27.481839
- Title: MMCD: Multi-Modal Collaborative Decision-Making for Connected Autonomy with Knowledge Distillation
- Title(参考訳): MMCD:知識蒸留による相互接続型自律学習のための多モード協調意思決定
- Authors: Rui Liu, Zikang Wang, Peng Gao, Yu Shen, Pratap Tokekar, Ming Lin,
- Abstract要約: 連結自律のための新しいフレームワークMMCD(Multi-Modal Collaborative Decision-making)を導入する。
本フレームワークは,エゴおよび協調車両からの多モード観測を融合させ,課題条件下での意思決定を強化する。
本手法は運転安全性を最大20.7%まで向上させ,事故検出の基準線を超えている。
- 参考スコア(独自算出の注目度): 22.153121162641735
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Autonomous systems have advanced significantly, but challenges persist in accident-prone environments where robust decision-making is crucial. A single vehicle's limited sensor range and obstructed views increase the likelihood of accidents. Multi-vehicle connected systems and multi-modal approaches, leveraging RGB images and LiDAR point clouds, have emerged as promising solutions. However, existing methods often assume the availability of all data modalities and connected vehicles during both training and testing, which is impractical due to potential sensor failures or missing connected vehicles. To address these challenges, we introduce a novel framework MMCD (Multi-Modal Collaborative Decision-making) for connected autonomy. Our framework fuses multi-modal observations from ego and collaborative vehicles to enhance decision-making under challenging conditions. To ensure robust performance when certain data modalities are unavailable during testing, we propose an approach based on cross-modal knowledge distillation with a teacher-student model structure. The teacher model is trained with multiple data modalities, while the student model is designed to operate effectively with reduced modalities. In experiments on $\textit{connected autonomous driving with ground vehicles}$ and $\textit{aerial-ground vehicles collaboration}$, our method improves driving safety by up to ${\it 20.7}\%$, surpassing the best-existing baseline in detecting potential accidents and making safe driving decisions. More information can be found on our website https://ruiiu.github.io/mmcd.
- Abstract(参考訳): 自律システムは大幅に進歩しているが、堅牢な意思決定が不可欠である事故が発生しやすい環境では課題が続いている。
単一の車両の限られたセンサー範囲と障害物のある視界は事故の可能性を増大させる。
RGBイメージとLiDARポイントクラウドを活用するマルチ車両接続システムとマルチモーダルアプローチが,有望なソリューションとして登場した。
しかしながら、既存の手法では、トレーニングとテストの両方において、すべてのデータモダリティとコネクテッドカーが利用可能であると仮定することが多い。
これらの課題に対処するために,我々は,連結自律性のための新しいフレームワークMMCD(Multi-Modal Collaborative Decision-making)を導入する。
本フレームワークは,エゴおよび協調車両からの多モード観測を融合させ,課題条件下での意思決定を強化する。
テスト中に特定のデータモダリティが利用できない場合のロバストな性能を確保するため,教師-学生モデル構造を用いたクロスモーダルな知識蒸留に基づくアプローチを提案する。
教師モデルは複数のデータモダリティで訓練され、生徒モデルはモダリティを減らして効果的に動作するよう設計されている。
The experiment on $\textit{connect autonomous driving with ground vehicle}$ and $\textit{aerial-ground vehicle collaboration}$, our method improveing driving safety to up ${\it 20.7}\%$。
詳細は私たちのWebサイトhttps://ruiiu.github.io/mmcd.comで確認できます。
関連論文リスト
- CAML: Collaborative Auxiliary Modality Learning for Multi-Agent Systems [38.20651868834145]
我々は,新しいマルチモーダル・マルチエージェント・フレームワークである協調補助モダリティ学習(CAML)を提案する。
事故検出においてCAMLが最大で$bf 58.1%の改善を達成していることを示す。
また,コラボレーティブセマンティックセグメンテーションのための実世界の地上ロボットデータ上でCAMLを検証する。
論文 参考訳(メタデータ) (2025-02-25T03:59:40Z) - V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multi-Modal Large Language Models [31.537045261401666]
本稿では,多モード大規模言語モデルと協調自律運転を統合した新しい問題設定を提案する。
また,V2V-LLM(V2V-LLM)のベースライン手法を提案する。
実験結果から,提案するV2V-LLMは,協調運転における様々なタスクを遂行する上で,有望な統一モデルアーキテクチャとなる可能性が示唆された。
論文 参考訳(メタデータ) (2025-02-14T08:05:41Z) - Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [87.7482313774741]
コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。
本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
論文 参考訳(メタデータ) (2024-09-19T14:36:00Z) - M2DA: Multi-Modal Fusion Transformer Incorporating Driver Attention for Autonomous Driving [11.36165122994834]
自律運転にドライバ注意(M2DA)を組み込んだ多モード核融合トランスを提案する。
ドライバーの注意を取り入れることで、自動運転車に人間のようなシーン理解能力を付与し、重要な領域を正確に特定し、安全性を確保する。
論文 参考訳(メタデータ) (2024-03-19T08:54:52Z) - LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。
本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-02T07:23:33Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked
Vehicles [54.61668577827041]
本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。
われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
論文 参考訳(メタデータ) (2022-05-04T17:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。