論文の概要: Prospective Role of Foundation Models in Advancing Autonomous Vehicles

• arxiv url: http://arxiv.org/abs/2405.02288v2
• Date: Fri, 17 May 2024 10:47:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 18:02:35.084821
• Title: Prospective Role of Foundation Models in Advancing Autonomous Vehicles
• Title（参考訳）: 自動運転車の推進における基礎モデルの役割
• Authors: Jianhua Wu, Bingzhao Gao, Jincheng Gao, Jianhao Yu, Hongqing Chu, Qiankun Yu, Xun Gong, Yi Chang, H. Eric Tseng, Hong Chen, Jie Chen,
• Abstract要約: 大規模ファンデーションモデル(FM)は自然言語処理やコンピュータビジョンを含む多くの分野において顕著な成果を上げている。 本稿では,自動運転におけるFMの応用と今後の動向について述べる。
• 参考スコア（独自算出の注目度）: 19.606191410333363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of artificial intelligence and breakthroughs in deep learning, large-scale Foundation Models (FMs), such as GPT, Sora, etc., have achieved remarkable results in many fields including natural language processing and computer vision. The application of FMs in autonomous driving holds considerable promise. For example, they can contribute to enhancing scene understanding and reasoning. By pre-training on rich linguistic and visual data, FMs can understand and interpret various elements in a driving scene, and provide cognitive reasoning to give linguistic and action instructions for driving decisions and planning. Furthermore, FMs can augment data based on the understanding of driving scenarios to provide feasible scenes of those rare occurrences in the long tail distribution that are unlikely to be encountered during routine driving and data collection. The enhancement can subsequently lead to improvement in the accuracy and reliability of autonomous driving systems. Another testament to the potential of FMs' applications lies in World Models, exemplified by the DREAMER series, which showcases the ability to comprehend physical laws and dynamics. Learning from massive data under the paradigm of self-supervised learning, World Model can generate unseen yet plausible driving environments, facilitating the enhancement in the prediction of road users' behaviors and the off-line training of driving strategies. In this paper, we synthesize the applications and future trends of FMs in autonomous driving. By utilizing the powerful capabilities of FMs, we strive to tackle the potential issues stemming from the long-tail distribution in autonomous driving, consequently advancing overall safety in this domain.
• Abstract（参考訳）: 人工知能の発達とディープラーニングのブレークスルーにより、GPT、Soraなどの大規模ファンデーションモデル(FM)は、自然言語処理やコンピュータビジョンを含む多くの分野において顕著な成果を上げている。 FMの自動運転への応用は、かなりの可能性を秘めている。 例えば、シーンの理解と推論の強化に貢献できる。 豊かな言語的および視覚的なデータに基づいて事前訓練を行うことで、FMは運転シーンにおける様々な要素を理解し、解釈し、決定と計画のための言語的および行動的指示を与える認知的推論を提供する。 さらに、FMは運転シナリオの理解に基づいてデータを増やして、日常的な運転やデータ収集で遭遇しそうにない長い尾の分布におけるこれらの稀な事象の実行可能なシーンを提供することができる。 この強化により、自律運転システムの精度と信頼性が向上する可能性がある。 FMの応用の可能性の別の証明は、DREAMERシリーズで実証されたWorld Modelsにあり、物理法則や力学を理解する能力を示している。 自己教師型学習のパラダイムの下で大量のデータから学習することで、World Modelは目に見えないが妥当な運転環境を生成し、道路利用者の行動を予測し、運転戦略のオフライントレーニングを促進する。 本稿では,自動運転におけるFMの応用と今後の動向について述べる。 FMの強力な能力を利用することで、自動運転における長い尾の分布に起因する潜在的な問題に対処し、その結果、この領域全体の安全性を向上する。

関連論文リスト

• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  本研究は,自律運転分野におけるMLLM(Multimodal Large Language Models)の適用に焦点を当てた。 我々は、固定車載カメラの観点から、様々なMLLMの運転能力を世界モデルとして評価する。 以上の結果から,最先端MLLMの現在の能力に重要なギャップがあることが示唆された。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Learning in Multi-Modal Large Language Model [22.25903116720301]
  説明責任は、信頼できる自律的な意思決定において重要な役割を果たす。 MLLM(Multi-Modal Large Language Model)の最近の進歩は、駆動エージェントとしての説明可能性を高める有望な可能性を示している。 提案するRAG-Driverは,高機能,説明性,一般化可能な自律運転にコンテキスト内学習を活用する,検索強化型多モード大言語モデルである。
  論文  参考訳（メタデータ） (2024-02-16T16:57:18Z)
• Delving into Multi-modal Multi-task Foundation Models for Road Scene Understanding: From Learning Paradigm Perspectives [56.2139730920855]
  本稿では,道路シーンに特化して設計されたMM-VUFMの系統解析について述べる。 本研究の目的は,タスク特化モデル,統合マルチモーダルモデル,統合マルチタスクモデル,基礎モデル推進技術など,共通プラクティスの包括的概要を提供することである。 我々は、クローズドループ駆動システム、解釈可能性、エンボディドドライブエージェント、世界モデルなど、重要な課題と今後のトレンドに関する洞察を提供する。
  論文  参考訳（メタデータ） (2024-02-05T12:47:09Z)
• Forging Vision Foundation Models for Autonomous Driving: Challenges, Methodologies, and Opportunities [59.02391344178202]
  ビジョンファウンデーションモデル(VFM)は、幅広いAIアプリケーションのための強力なビルディングブロックとして機能する。 総合的なトレーニングデータの不足、マルチセンサー統合の必要性、多様なタスク固有のアーキテクチャは、VFMの開発に重大な障害をもたらす。 本稿では、自動運転に特化したVFMを鍛造する上で重要な課題について述べるとともに、今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-01-16T01:57:24Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [67.843551583229]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• DiLu: A Knowledge-Driven Approach to Autonomous Driving with Large Language Models [30.23228092898916]
  本稿では,ReasoningとReflectionモジュールを組み合わせたDiLuフレームワークを提案する。 大規模な実験は、ダイリューが経験を蓄積し、一般化能力において大きな優位性を示す能力を証明する。 私たちの知識を最大限に活用するために、自動運転車の意思決定において知識駆動能力を活用するのは、私たちは初めてです。
  論文  参考訳（メタデータ） (2023-09-28T09:41:35Z)
• KARNet: Kalman Filter Augmented Recurrent Neural Network for Learning World Models in Autonomous Driving Tasks [11.489187712465325]
  本稿では、フロントカメラ画像のみを用いて、交通流の潜在表現を学習するために、Kalmanフィルタの強化されたリカレントニューラルネットワークアーキテクチャを提案する。 その結果,車両の明示的なモデル(カルマンフィルタを用いて推定した状態)をエンドツーエンド学習に組み込むことで,性能が著しく向上した。
  論文  参考訳（メタデータ） (2023-05-24T02:27:34Z)
• Tackling Real-World Autonomous Driving using Deep Reinforcement Learning [63.3756530844707]
  本研究では,加速と操舵角度を予測するニューラルネットワークを学習するモデルレスディープ強化学習プランナを提案する。 実際の自動運転車にシステムをデプロイするために、我々は小さなニューラルネットワークで表されるモジュールも開発する。
  論文  参考訳（メタデータ） (2022-07-05T16:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。