論文の概要: Advancing Autonomous Vehicle Intelligence: Deep Learning and Multimodal LLM for Traffic Sign Recognition and Robust Lane Detection

• arxiv url: http://arxiv.org/abs/2503.06313v1
• Date: Sat, 08 Mar 2025 19:12:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:53:28.644958
• Title: Advancing Autonomous Vehicle Intelligence: Deep Learning and Multimodal LLM for Traffic Sign Recognition and Robust Lane Detection
• Title（参考訳）: 自動運転車のインテリジェンス向上:交通信号認識とロバストレーン検出のための深層学習とマルチモーダルLLM
• Authors: Chandan Kumar Sah, Ankit Kumar Shaw, Xiaoli Lian, Arsalan Shahid Baig, Tuopu Wen, Kun Jiang, Mengmeng Yang, Diange Yang,
• Abstract要約: 本稿では,先進的な深層学習技術とマルチモーダル大規模言語モデル(MLLM)を組み合わせた総合的な道路認識手法を提案する。 交通信号認識では,ResNet-50,Yv8,RT-DETRを評価し,ResNet-50で99.8%,YOLOv8で98.0%,RT-DETRで96.6%の精度を達成した。 車線検出のために,曲線フィッティングにより強化されたCNNに基づくセグメンテーション手法を提案する。
• 参考スコア（独自算出の注目度）: 11.743721109110792
• License:
• Abstract: Autonomous vehicles (AVs) require reliable traffic sign recognition and robust lane detection capabilities to ensure safe navigation in complex and dynamic environments. This paper introduces an integrated approach combining advanced deep learning techniques and Multimodal Large Language Models (MLLMs) for comprehensive road perception. For traffic sign recognition, we systematically evaluate ResNet-50, YOLOv8, and RT-DETR, achieving state-of-the-art performance of 99.8% with ResNet-50, 98.0% accuracy with YOLOv8, and achieved 96.6% accuracy in RT-DETR despite its higher computational complexity. For lane detection, we propose a CNN-based segmentation method enhanced by polynomial curve fitting, which delivers high accuracy under favorable conditions. Furthermore, we introduce a lightweight, Multimodal, LLM-based framework that directly undergoes instruction tuning using small yet diverse datasets, eliminating the need for initial pretraining. This framework effectively handles various lane types, complex intersections, and merging zones, significantly enhancing lane detection reliability by reasoning under adverse conditions. Despite constraints in available training resources, our multimodal approach demonstrates advanced reasoning capabilities, achieving a Frame Overall Accuracy (FRM) of 53.87%, a Question Overall Accuracy (QNS) of 82.83%, lane detection accuracies of 99.6% in clear conditions and 93.0% at night, and robust performance in reasoning about lane invisibility due to rain (88.4%) or road degradation (95.6%). The proposed comprehensive framework markedly enhances AV perception reliability, thus contributing significantly to safer autonomous driving across diverse and challenging road scenarios.
• Abstract（参考訳）: 自律走行車(AV)は、複雑でダイナミックな環境で安全なナビゲーションを確保するために、信頼できる交通標識認識と堅牢な車線検出機能を必要とする。 本稿では,先進的な深層学習技術とマルチモーダル大規模言語モデル(MLLM)を組み合わせた総合的な道路認識手法を提案する。 交通信号認識では,ResNet-50, YOLOv8, RT-DETRを体系的に評価し, ResNet-50で99.8%, YOLOv8で98.0%, RT-DETRで96.6%の精度を達成した。 車線検出のために,多項式曲線フィッティングにより強化されたCNNに基づくセグメンテーション手法を提案する。 さらに,より軽量でマルチモーダルな LLM ベースのフレームワークを導入する。 このフレームワークは、様々な車線タイプ、複雑な交差点、およびマージゾーンを効果的に処理し、悪条件下での推論による車線検出信頼性を著しく向上する。 トレーニングリソースの制約にもかかわらず、我々のマルチモーダルアプローチは高度な推論能力を示し、フレーム総合精度(FRM)は53.87%、質問総合精度(QNS)は82.83%、レーン検出精度(99.6%)は99.6%、夜間は93.0%、そして雨(88.4%)や道路劣化(95.6%)によるレーンの視認性を推論する堅牢な性能を示した。 提案した包括的フレームワークは、AV知覚の信頼性を著しく向上させ、多様かつ困難な道路シナリオにおける自律運転の安全性向上に大きく貢献する。

関連論文リスト

• Research on vehicle detection based on improved YOLOv8 network [0.0]
  本稿では,改良型YOLOv8車両検出手法を提案する。 改良されたモデルは98.3%、89.1%、そして88.4%の精度で車、人、オートバイを検出できる。
  論文  参考訳（メタデータ） (2024-12-31T06:19:26Z)
• Attention-based U-Net Method for Autonomous Lane Detection [0.5461938536945723]
  本研究では,ディープラーニングに基づく2つのレーン認識手法を提案する。 最初の方法はFPN(Feature Pyramid Network)モデルを用いており、道路車線検出の精度は87.59%である。 注意層をU-Netモデルに組み込んだ第2の手法はセマンティックセグメンテーションタスクの性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-11-16T22:20:11Z)
• LanEvil: Benchmarking the Robustness of Lane Detection to Environmental Illusions [61.87108000328186]
  レーン検出(LD)は自律走行システムにおいて不可欠な要素であり、適応型クルーズ制御や自動車線センターなどの基本的な機能を提供している。 既存のLDベンチマークは主に、環境錯覚に対するLDモデルの堅牢性を無視し、一般的なケースを評価することに焦点を当てている。 本稿では、LDに対する環境錯覚による潜在的な脅威について検討し、LanEvilの最初の総合ベンチマークを確立する。
  論文  参考訳（メタデータ） (2024-06-03T02:12:27Z)
• Reinforcement Learning with Latent State Inference for Autonomous On-ramp Merging under Observation Delay [6.0111084468944]
  遅延状態推論・安全制御(L3IS)エージェントを用いたレーンキーピング・レーンチェンジについて紹介する。 L3ISは、周囲の車両の意図や運転スタイルに関する包括的な知識を必要とせずに、オンランプのマージ作業を安全に行うように設計されている。 本稿では,観測遅延を考慮に入れたAL3ISというエージェントを改良し,実環境においてより堅牢な決定を行えるようにした。
  論文  参考訳（メタデータ） (2024-03-18T15:02:46Z)
• Unsupervised Domain Adaptation for Self-Driving from Past Traversal Features [69.47588461101925]
  本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。 提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。 実世界のデータセットの実験では、大幅な改善が示されている。
  論文  参考訳（メタデータ） (2023-09-21T15:00:31Z)
• iPLAN: Intent-Aware Planning in Heterogeneous Traffic via Distributed Multi-Agent Reinforcement Learning [57.24340061741223]
  本稿では,高密度および不均一な交通シナリオにおける軌跡や意図を予測できる分散マルチエージェント強化学習(MARL)アルゴリズムを提案する。 インテント対応プランニングのアプローチであるiPLANにより、エージェントは近くのドライバーの意図をローカルな観察からのみ推測できる。
  論文  参考訳（メタデータ） (2023-06-09T20:12:02Z)
• CLRerNet: Improving Confidence of Lane Detection with LaneIoU [3.2489082010225485]
  我々は,既存の行ベース検出器の予測において,正しい車線位置がすでに存在することを示す。 局所的な車線角を考慮に入れた上で、距離と相関関係が良くなるLaneIoUを提案する。 そこで我々は,LaneIoUを特徴とするCLRerNetという新しい検出器を開発した。
  論文  参考訳（メタデータ） (2023-05-15T05:59:35Z)
• Efficient and Robust LiDAR-Based End-to-End Navigation [132.52661670308606]
  我々は,LiDARをベースとした効率的なエンドツーエンドナビゲーションフレームワークを提案する。 本稿では,スパース畳み込みカーネル最適化とハードウェア対応モデル設計に基づくFast-LiDARNetを提案する。 次に,単一の前方通過のみから予測の不確かさを直接推定するハイブリッド・エビデンシャル・フュージョンを提案する。
  論文  参考訳（メタデータ） (2021-05-20T17:52:37Z)
• End-to-End Intersection Handling using Multi-Agent Deep Reinforcement Learning [63.56464608571663]
  交差点をナビゲートすることは、自動運転車にとって大きな課題の1つです。 本研究では,交通標識のみが提供された交差点をナビゲート可能なシステムの実装に着目する。 本研究では,時間ステップ毎に加速度と操舵角を予測するためのニューラルネットワークの訓練に用いる,モデルフリーの連続学習アルゴリズムを用いたマルチエージェントシステムを提案する。
  論文  参考訳（メタデータ） (2021-04-28T07:54:40Z)
• Detecting 32 Pedestrian Attributes for Autonomous Vehicles [103.87351701138554]
  本稿では、歩行者を共同で検出し、32の歩行者属性を認識するという課題に対処する。 本稿では,複合フィールドフレームワークを用いたマルチタスク学習(MTL)モデルを提案する。 競合検出と属性認識の結果と,より安定したMTLトレーニングを示す。
  論文  参考訳（メタデータ） (2020-12-04T15:10:12Z)
• Multi-lane Detection Using Instance Segmentation and Attentive Voting [0.0]
  本稿では,精度と速度の両面で技術手法の状態を上回り,マルチレーン検出のための新しい手法を提案する。 54.53 fps(平均)で走行する車線分割精度99.87%を得ることができる。
  論文  参考訳（メタデータ） (2020-01-01T16:48:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。