論文の概要: Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense

• arxiv url: http://arxiv.org/abs/2503.07020v1
• Date: Mon, 10 Mar 2025 08:01:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:50:29.342548
• Title: Combating Partial Perception Deficit in Autonomous Driving with Multimodal LLM Commonsense
• Title（参考訳）: マルチモーダルLLMコモンセンスを用いた自律走行における部分知覚障害の回避
• Authors: Yuting Hu, Chenhui Xu, Ruiyang Qin, Dancheng Liu, Amir Nassereldine, Yiyu Shi, Jinjun Xiong,
• Abstract要約: LLM-RCOは、認知障害に直面した自律システムに人間のような駆動コモンセンスを統合するためのフレームワークである。 DriveLM-Deficitは、安全クリティカルな物体の欠如を特徴とする53,895本のビデオクリップのデータセットである。 以上の結果から,DriveLM-Deficitで微調整したLCMは,知覚障害の文脈において,保守的な停止ではなく,より活発な動作を可能にすることが示唆された。
• 参考スコア（独自算出の注目度）: 19.797977882386736
• License:
• Abstract: Partial perception deficits can compromise autonomous vehicle safety by disrupting environmental understanding. Current protocols typically respond with immediate stops or minimal-risk maneuvers, worsening traffic flow and lacking flexibility for rare driving scenarios. In this paper, we propose LLM-RCO, a framework leveraging large language models to integrate human-like driving commonsense into autonomous systems facing perception deficits. LLM-RCO features four key modules: hazard inference, short-term motion planner, action condition verifier, and safety constraint generator. These modules interact with the dynamic driving environment, enabling proactive and context-aware control actions to override the original control policy of autonomous agents. To improve safety in such challenging conditions, we construct DriveLM-Deficit, a dataset of 53,895 video clips featuring deficits of safety-critical objects, complete with annotations for LLM-based hazard inference and motion planning fine-tuning. Extensive experiments in adverse driving conditions with the CARLA simulator demonstrate that systems equipped with LLM-RCO significantly improve driving performance, highlighting its potential for enhancing autonomous driving resilience against adverse perception deficits. Our results also show that LLMs fine-tuned with DriveLM-Deficit can enable more proactive movements instead of conservative stops in the context of perception deficits.
• Abstract（参考訳）: 部分的な認識障害は、環境理解を乱すことで、自動運転車の安全性を損なう可能性がある。 現在のプロトコルは、通常、即時停止または最小リスクの操作、トラフィックフローの悪化、稀な運転シナリオの柔軟性の欠如に対応している。 本稿では,LLM-RCOを提案する。LLM-RCOは,認知障害に直面した自律システムに人間のような駆動コモンセンスを統合するために,大規模言語モデルを活用するフレームワークである。 LLM-RCOは、ハザード推論、短期運動プランナー、行動条件検証器、安全制約発生器の4つの重要なモジュールを備えている。 これらのモジュールは動的駆動環境と相互作用し、プロアクティブかつコンテキスト対応の制御アクションが自律エージェントのオリジナルの制御ポリシーをオーバーライドすることを可能にする。 このような困難な状況下での安全性向上のために,安全クリティカルな物体の欠如を特徴とする53,895本のビデオクリップからなるDriveLM-Deficitを構築し,LCMに基づくハザード推論と動作計画の微調整のためのアノテーションを完備した。 CARLAシミュレータによる有害運転条件の広範囲な実験により、LLM-RCOを搭載したシステムは運転性能を著しく向上し、低知覚障害に対する自律走行レジリエンスを向上する可能性を示している。 以上の結果から,DriveLM-Deficitで微調整したLCMは,知覚障害の文脈において,保守的な停止ではなく,より前向きな動作を可能にすることが示唆された。

関連論文リスト

• OWLed: Outlier-weighed Layerwise Pruning for Efficient Autonomous Driving Framework [3.8320050452121692]
  本稿では,効率的な自律運転フレームワーク Outlier-Weighed Layerwise Pruning であるOWLedを紹介する。 提案手法は,外乱特性の分布に基づいて,異なる層に対して一様でない空間比を割り当てる。 圧縮モデルが自律運転タスクに適合するようにするため、運転環境データをキャリブレーションとプルーニングの両方に組み込む。
  論文  参考訳（メタデータ） (2024-11-12T10:55:30Z)
• Towards Interactive and Learnable Cooperative Driving Automation: a Large Language Model-Driven Decision-Making Framework [79.088116316919]
  コネクテッド・オートモービルズ(CAV)は世界中の道路試験を開始したが、複雑なシナリオにおける安全性と効率性はまだ十分ではない。 本稿では,対話型かつ学習可能なLLM駆動協調運転フレームワークCoDrivingLLMを提案する。
  論文  参考訳（メタデータ） (2024-09-19T14:36:00Z)
• RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes [57.319845580050924]
  本稿では,リスク感応制御と適応行動空間のカリキュラムを組み合わせた強化学習フレームワークを提案する。 提案アルゴリズムは,現実世界のオフロード運転タスクに対して,高速なポリシーを学習可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-07T23:32:36Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Risk-anticipatory autonomous driving strategies considering vehicles' weights, based on hierarchical deep reinforcement learning [12.014977175887767]
  本研究では,周囲の車両の重量を考慮し,リスク予測に基づく自律運転戦略を開発する。 リスクフィールド理論に基づいて、周囲の車両重量を統合するリスクインジケータを提案し、自律運転決定に組み込んだ。 衝突時の潜在的な衝突エネルギーを示す指標を新たに提案し, AV駆動方式の性能評価を行った。
  論文  参考訳（メタデータ） (2023-12-27T06:03:34Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Learned Risk Metric Maps for Kinodynamic Systems [54.49871675894546]
  本研究では,高次元力学系のコヒーレントリスクメトリクスをリアルタイムに推定するための学習型リスクメトリクスマップを提案する。 LRMMモデルは設計と訓練が簡単で、障害セットの手続き的生成、状態と制御のサンプリング、および関数近似器の教師付きトレーニングのみを必要とする。
  論文  参考訳（メタデータ） (2023-02-28T17:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。