論文の概要: On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving

• arxiv url: http://arxiv.org/abs/2311.05332v2
• Date: Tue, 28 Nov 2023 09:47:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 13:04:43.100190
• Title: On the Road with GPT-4V(ision): Early Explorations of Visual-Language Model on Autonomous Driving
• Title（参考訳）: GPT-4V(Ision):自律走行における視覚言語モデルの早期探索
• Authors: Licheng Wen, Xuemeng Yang, Daocheng Fu, Xiaofeng Wang, Pinlong Cai, Xin Li, Tao Ma, Yingxuan Li, Linran Xu, Dengke Shang, Zheng Zhu, Shaoyan Sun, Yeqi Bai, Xinyu Cai, Min Dou, Shuanglu Hu, Botian Shi, Yu Qiao
• Abstract要約: 本報告では,最新のVLMであるGPT-4Vの徹底的な評価を行う。 我々は、シーンを駆動し、決定を下し、最終的にはドライバーの能力で行動する、モデルを理解する能力について探求する。 GPT-4Vは,既存の自律システムと比較して,シーン理解や因果推論において優れた性能を示した。
• 参考スコア（独自算出の注目度）: 37.617793990547625
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pursuit of autonomous driving technology hinges on the sophisticated integration of perception, decision-making, and control systems. Traditional approaches, both data-driven and rule-based, have been hindered by their inability to grasp the nuance of complex driving environments and the intentions of other road users. This has been a significant bottleneck, particularly in the development of common sense reasoning and nuanced scene understanding necessary for safe and reliable autonomous driving. The advent of Visual Language Models (VLM) represents a novel frontier in realizing fully autonomous vehicle driving. This report provides an exhaustive evaluation of the latest state-of-the-art VLM, GPT-4V(ision), and its application in autonomous driving scenarios. We explore the model's abilities to understand and reason about driving scenes, make decisions, and ultimately act in the capacity of a driver. Our comprehensive tests span from basic scene recognition to complex causal reasoning and real-time decision-making under varying conditions. Our findings reveal that GPT-4V demonstrates superior performance in scene understanding and causal reasoning compared to existing autonomous systems. It showcases the potential to handle out-of-distribution scenarios, recognize intentions, and make informed decisions in real driving contexts. However, challenges remain, particularly in direction discernment, traffic light recognition, vision grounding, and spatial reasoning tasks. These limitations underscore the need for further research and development. Project is now available on GitHub for interested parties to access and utilize: \url{https://github.com/PJLab-ADG/GPT4V-AD-Exploration}
• Abstract（参考訳）: 自動運転技術の追求は、知覚、意思決定、制御システムの高度な統合にかかっている。 データ駆動型とルールベースの従来のアプローチは、複雑な運転環境のニュアンスや、他の道路利用者の意図を把握できないことで妨げられている。 これは特に、安全で信頼性の高い自動運転に必要な常識推論とニュアンスのあるシーン理解の開発において重要なボトルネックとなっている。 視覚言語モデル(VLM)の出現は、完全自律運転の実現における新たなフロンティアである。 本報告では,最新のVLMであるGPT-4V(ision)の総合評価と自動運転シナリオへの応用について述べる。 我々は、シーンを駆動し、決定を下し、最終的にはドライバーの能力で行動する、モデルを理解する能力について探求する。 我々の包括的なテストは、基本的なシーン認識から複雑な因果推論、様々な条件下でのリアルタイム意思決定まで幅広い。 GPT-4Vは,既存の自律システムと比較して,シーン理解や因果推論において優れた性能を示した。 分散外のシナリオを処理し、意図を認識し、実際の運転状況でインフォームドな意思決定を行う可能性を示す。 しかし、特に方向識別、交通光認識、視覚の接地、空間的推論といった課題は残る。 これらの制限は、さらなる研究と開発の必要性を浮き彫りにした。 プロジェクトがGitHubで利用可能になった。 \url{https://github.com/PJLab-ADG/GPT4V-AD-Exploration}

関連論文リスト

• Pedestrian motion prediction evaluation for urban autonomous driving [0.0]
  我々は、従来の動き予測指標の妥当性を決定するために、提供されたオープンソースソリューションを用いて、選択した出版物を解析する。 この視点は、既存の最先端の歩行者運動予測問題の現実的なパフォーマンスを探している、自動運転やロボット工学の潜在的なエンジニアにとって価値があるだろう。
  論文  参考訳（メタデータ） (2024-10-22T10:06:50Z)
• Exploring the Causality of End-to-End Autonomous Driving [57.631400236930375]
  本稿では,エンドツーエンド自動運転の因果関係を探究し,分析するための包括的アプローチを提案する。 私たちの研究は、エンドツーエンドの自動運転の謎を初めて明らかにし、ブラックボックスを白い箱に変えた。
  論文  参考訳（メタデータ） (2024-07-09T04:56:11Z)
• Applications of Computer Vision in Autonomous Vehicles: Methods, Challenges and Future Directions [2.693342141713236]
  本稿では,過去10年間に出版されたコンピュータビジョンと自動運転に関する論文をレビューする。 特に、まず自律運転システムの開発について検討し、各国の主要自動車メーカーによって開発されたこれらのシステムを要約する。 そこで, 深度推定, 物体検出, 車線検出, 信号認識など, 自律運転におけるコンピュータビジョン応用の概要を概観する。
  論文  参考訳（メタデータ） (2023-11-15T16:41:18Z)
• LLM4Drive: A Survey of Large Language Models for Autonomous Driving [62.10344445241105]
  大規模言語モデル(LLM)は、文脈理解、論理的推論、回答生成などの能力を示した。 本稿では,自動走行のための大規模言語モデル (LLM4AD) に関する研究ラインを体系的にレビューする。
  論文  参考訳（メタデータ） (2023-11-02T07:23:33Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• DriveGPT4: Interpretable End-to-end Autonomous Driving via Large Language Model [84.29836263441136]
  本研究は,マルチモーダル大言語モデル(MLLM)に基づく新しい解釈可能なエンドツーエンド自動運転システムであるDriveGPT4を紹介する。 DriveGPT4は、車両動作の解釈を促進し、関連する推論を提供し、ユーザによるさまざまな質問に効果的に対処する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:52Z)
• Drive Like a Human: Rethinking Autonomous Driving with Large Language Models [28.957124302293966]
  本研究では,大規模言語モデル(LLM)を用いた運転環境の人間的理解の可能性を探る。 実験の結果,LLMは長い尾の症例を推論し,解決する優れた能力を示すことがわかった。
  論文  参考訳（メタデータ） (2023-07-14T05:18:34Z)
• Exploring Contextual Representation and Multi-Modality for End-to-End Autonomous Driving [58.879758550901364]
  最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。 我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。 提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
  論文  参考訳（メタデータ） (2022-10-13T05:56:20Z)
• Explainability of vision-based autonomous driving systems: Review and challenges [33.720369945541805]
  説明可能性の必要性は運転で強く、安全クリティカルなアプリケーションです。 この調査は、コンピュータビジョン、ディープラーニング、自動運転、説明可能なAI(X-AI)など、いくつかの研究分野から貢献を集めています。
  論文  参考訳（メタデータ） (2021-01-13T19:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。