論文の概要: On-Board Vision-Language Models for Personalized Autonomous Vehicle Motion Control: System Design and Real-World Validation

• arxiv url: http://arxiv.org/abs/2411.11913v1
• Date: Sun, 17 Nov 2024 23:20:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:05.049661
• Title: On-Board Vision-Language Models for Personalized Autonomous Vehicle Motion Control: System Design and Real-World Validation
• Title（参考訳）: 個人化自律走行制御のためのオンボードビジョンランゲージモデル:システム設計と実世界検証
• Authors: Can Cui, Zichong Yang, Yupeng Zhou, Juntong Peng, Sung-Yeon Park, Cong Zhang, Yunsheng Ma, Xu Cao, Wenqian Ye, Yiheng Feng, Jitesh Panchal, Lingxi Li, Yaobin Chen, Ziran Wang,
• Abstract要約: VLM(Vision-Language Models)は、パーソナライズドライビングのための有望なソリューションを提供する。 本稿では,低レイテンシなパーソナライズドライビング性能を実現する軽量で効果的なVLMフレームワークを提案する。 我々のシステムは、様々なシナリオで安全で快適でパーソナライズされた運転体験を提供する能力を示した。
• 参考スコア（独自算出の注目度）: 17.085548386025412
• License:
• Abstract: Personalized driving refers to an autonomous vehicle's ability to adapt its driving behavior or control strategies to match individual users' preferences and driving styles while maintaining safety and comfort standards. However, existing works either fail to capture every individual preference precisely or become computationally inefficient as the user base expands. Vision-Language Models (VLMs) offer promising solutions to this front through their natural language understanding and scene reasoning capabilities. In this work, we propose a lightweight yet effective on-board VLM framework that provides low-latency personalized driving performance while maintaining strong reasoning capabilities. Our solution incorporates a Retrieval-Augmented Generation (RAG)-based memory module that enables continuous learning of individual driving preferences through human feedback. Through comprehensive real-world vehicle deployment and experiments, our system has demonstrated the ability to provide safe, comfortable, and personalized driving experiences across various scenarios and significantly reduce takeover rates by up to 76.9%. To the best of our knowledge, this work represents the first end-to-end VLM-based motion control system in real-world autonomous vehicles.
• Abstract（参考訳）: パーソナライズドライビング(パーソナライズドライビング)とは、自動運転車が運転行動や制御戦略に適応し、安全と快適な基準を維持しながら、個々のユーザの好みや運転スタイルに適合する能力を指す。 しかし、既存の作業はユーザーの好みを正確に把握できないか、あるいはユーザーベースが拡大するにつれて計算的に非効率になる。 VLM(Vision-Language Models)は、自然言語の理解とシーン推論機能を通じて、この分野で有望なソリューションを提供する。 本稿では,低レイテンシなパーソナライズドライビング性能を実現するとともに,強力な推論能力を維持しつつ,軽量かつ効果的なVLMフレームワークを提案する。 我々のソリューションは、人間からのフィードバックによって個人の運転嗜好を連続的に学習できる、RAG(Retrieval-Augmented Generation)ベースのメモリモジュールを組み込んでいる。 実世界の車両の総合的な展開と実験を通じて、当社のシステムは、安全で快適でパーソナライズされた運転体験を様々なシナリオで提供し、乗っ取り率を最大76.9%削減する能力を示した。 我々の知る限りでは、この研究は、現実の自動運転車における初めてのエンドツーエンドのVLMベースのモーションコントロールシステムである。

関連論文リスト

• NDST: Neural Driving Style Transfer for Human-Like Vision-Based Autonomous Driving [6.342339536410644]
  自律運転(AD)における利用者の快適性を高める新しいアプローチであるニューラル・ドライビング・スタイル・トランスファー(NDST)を提案する。 NDSTはパーソナライズドブロック(PB)を従来のベースライン駆動モデル(BDM)に統合する PBは自己設定システムとして機能し、BDMの変更を必要とせず、個人の運転行動に適応し、学習する。
  論文  参考訳（メタデータ） (2024-07-10T22:26:45Z)
• MetaFollower: Adaptable Personalized Autonomous Car Following [63.90050686330677]
  適応型パーソナライズされた自動車追従フレームワークであるMetaFollowerを提案する。 まず,モデルに依存しないメタラーニング(MAML)を用いて,様々なCFイベントから共通運転知識を抽出する。 さらに、Long Short-Term Memory (LSTM) と Intelligent Driver Model (IDM) を組み合わせて、時間的不均一性を高い解釈性で反映する。
  論文  参考訳（メタデータ） (2024-06-23T15:30:40Z)
• EditFollower: Tunable Car Following Models for Customizable Adaptive Cruise Control Systems [28.263763430300504]
  本研究では,データ駆動型自動車追従モデルを提案する。 本モデルは,運転者の社会的嗜好を考慮に入れたACCシステムの開発に有用な知見を提供する。
  論文  参考訳（メタデータ） (2024-06-23T15:04:07Z)
• Parameterized Decision-making with Multi-modal Perception for Autonomous Driving [12.21578713219778]
  AUTOと呼ばれる深層強化学習に基づくマルチモーダル認識を用いたパラメータ化意思決定フレームワークを提案する。 ハイブリッド報酬関数は、安全、交通効率、乗客の快適性、および最適な行動を生成するためのフレームワークを導く影響を考慮に入れている。
  論文  参考訳（メタデータ） (2023-12-19T08:27:02Z)
• Driving into the Future: Multiview Visual Forecasting and Planning with World Model for Autonomous Driving [56.381918362410175]
  Drive-WMは、既存のエンド・ツー・エンドの計画モデルと互換性のある世界初のドライビングワールドモデルである。 ドライビングシーンで高忠実度マルチビュー映像を生成する。
  論文  参考訳（メタデータ） (2023-11-29T18:59:47Z)
• Empowering Autonomous Driving with Large Language Models: A Safety Perspective [82.90376711290808]
  本稿では,Large Language Models (LLM) の自律運転システムへの統合について検討する。 LLMは行動計画におけるインテリジェントな意思決定者であり、文脈的安全学習のための安全検証シールドを備えている。 適応型LLM条件モデル予測制御(MPC)と状態機械を用いたLLM対応対話型行動計画スキームという,シミュレーション環境における2つの重要な研究について述べる。
  論文  参考訳（メタデータ） (2023-11-28T03:13:09Z)
• Receive, Reason, and React: Drive as You Say with Large Language Models in Autonomous Vehicles [13.102404404559428]
  本稿では,Large Language Models (LLMs) を利用した自律走行車における意思決定プロセスを強化する新しいフレームワークを提案する。 我々の研究は、自動運転と戦術的意思決定タスクのための環境の集合であるHighwayEnvの実験を含む。 また、リアルタイムのパーソナライズも検討し、LLMが音声コマンドに基づいて運転行動にどう影響するかを示す。
  論文  参考訳（メタデータ） (2023-10-12T04:56:01Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)
• Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
  本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。 実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
  論文  参考訳（メタデータ） (2022-07-05T16:33:20Z)
• Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving [100.57791628642624]
  本稿では,視覚に基づくエンドツーエンド自動運転のための安全保証学習フレームワークを提案する。 我々は、勾配降下によりエンドツーエンドに訓練された微分制御バリア関数(dCBF)を備えた学習システムを設計する。
  論文  参考訳（メタデータ） (2022-03-04T16:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。