論文の概要: SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment

• arxiv url: http://arxiv.org/abs/2503.09594v1
• Date: Wed, 12 Mar 2025 17:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:39.446868
• Title: SimLingo: Vision-Only Closed-Loop Autonomous Driving with Language-Action Alignment
• Title（参考訳）: SimLingo: 言語アクションアライメントによる視覚のみのクローズドループ自動運転
• Authors: Katrin Renz, Long Chen, Elahe Arani, Oleg Sinavski,
• Abstract要約: 本研究では,(1)クローズドループ駆動,(2)視覚言語理解,(3)言語行動アライメントの3つのタスクを処理できるモデルを提案する。 我々のモデルSimLingoは視覚言語モデル(VLM)に基づいており、LiDARのような高価なセンサーを除いて、カメラのみを使用します。
• 参考スコア（独自算出の注目度）: 15.223886922912842
• License:
• Abstract: Integrating large language models (LLMs) into autonomous driving has attracted significant attention with the hope of improving generalization and explainability. However, existing methods often focus on either driving or vision-language understanding but achieving both high driving performance and extensive language understanding remains challenging. In addition, the dominant approach to tackle vision-language understanding is using visual question answering. However, for autonomous driving, this is only useful if it is aligned with the action space. Otherwise, the model's answers could be inconsistent with its behavior. Therefore, we propose a model that can handle three different tasks: (1) closed-loop driving, (2) vision-language understanding, and (3) language-action alignment. Our model SimLingo is based on a vision language model (VLM) and works using only camera, excluding expensive sensors like LiDAR. SimLingo obtains state-of-the-art performance on the widely used CARLA simulator on the Bench2Drive benchmark and is the winning entry at the CARLA challenge 2024. Additionally, we achieve strong results in a wide variety of language-related tasks while maintaining high driving performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)を自律運転に組み込むことは、一般化と説明可能性の向上を期待して大きな注目を集めている。 しかし、既存の手法は駆動と視覚言語の両方に焦点をあてることが多いが、高い駆動性能と広範な言語理解の両方を達成することは依然として困難である。 さらに、視覚言語理解に取り組むための主要なアプローチは、視覚的質問応答を使うことである。 しかし、自律運転においては、これはアクション空間と一致している場合にのみ有用である。 そうでなければ、モデルの答えはその振る舞いと矛盾する可能性がある。 そこで本研究では,(1)クローズドループ駆動,(2)視覚言語理解,(3)言語行動アライメントの3つのタスクを処理できるモデルを提案する。 我々のモデルSimLingoは視覚言語モデル(VLM)に基づいており、LiDARのような高価なセンサーを除いて、カメラのみを使用します。 SimLingoはBench2Driveベンチマークで広く使われているCARLAシミュレータの最先端のパフォーマンスを取得し、CARLAチャレンジ2024で優勝した。 さらに、高速運転性能を維持しながら、多種多様な言語関連タスクにおいて強力な結果を得る。

関連論文リスト

• Generative Planning with 3D-vision Language Pre-training for End-to-End Autonomous Driving [20.33096710167997]
  GPVLという名前の3次元言語事前学習モデルによる生成計画がエンドツーエンドの自動運転のために提案されている。 クロスモーダル言語モデルを導入し、総合的な駆動決定と微粒な軌跡を生成する。 GPVLの効果的で堅牢で効率的な性能は、将来の自動運転システムの実用化に不可欠であると考えられている。
  論文  参考訳（メタデータ） (2025-01-15T15:20:46Z)
• MiniDrive: More Efficient Vision-Language Models with Multi-Level 2D Features as Text Tokens for Autonomous Driving [10.74799483937468]
  視覚言語モデル(VLM)は、自律運転における汎用的なエンドツーエンドモデルとして機能する。 既存のほとんどの手法は計算コストのかかるビジュアルエンコーダと大言語モデル(LLM)に依存している。 提案するFE-MoE(Feature Engineering Mixture of Experts)モジュールとDI-Adapter(Dynamic Instruction Adapter)を組み込んだMiniDriveという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-11T13:43:01Z)
• OccLLaMA: An Occupancy-Language-Action Generative World Model for Autonomous Driving [12.004183122121042]
  OccLLaMA (OccLLaMA) は、言語による世界モデルである。 私たちは、視覚、言語、行動のための統合されたマルチモーダル語彙を構築します。 OccLLaMAは複数のタスクで競合性能を達成する。
  論文  参考訳（メタデータ） (2024-09-05T06:30:01Z)
• EVLM: An Efficient Vision-Language Model for Visual Understanding [18.794601813330715]
  本稿では,計算コストを最小化する効率的なマルチモーダル言語モデルを提案する。 画像キャプションやビデオキャプションといったタスクにおいて,公開マルチモーダルベンチマークの競合スコアを達成し,良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-07-19T10:09:51Z)
• Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
  自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。 GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
  論文  参考訳（メタデータ） (2024-05-09T17:52:42Z)
• Multi-Frame, Lightweight & Efficient Vision-Language Models for Question Answering in Autonomous Driving [0.0]
  我々は,自律運転のための視覚質問応答を行う,効率的で軽量な多フレーム視覚言語モデルを開発した。 従来のアプローチと比較して、EM-VLM4ADは少なくとも10倍のメモリと浮動小数点演算を必要とする。
  論文  参考訳（メタデータ） (2024-03-28T21:18:33Z)
• VLP: Vision Language Planning for Autonomous Driving [52.640371249017335]
  本稿では,言語理解と自律運転のギャップを埋めるために,言語モデルを利用したビジョン・ランゲージ・プランニングフレームワークを提案する。 平均的なL2エラーと衝突率でそれぞれ35.9%と60.5%の削減を達成して、NuScenesデータセットの最先端のエンドツーエンドプランニング性能を達成している。
  論文  参考訳（メタデータ） (2024-01-10T23:00:40Z)
• DriveMLM: Aligning Multi-Modal Large Language Models with Behavioral Planning States for Autonomous Driving [69.82743399946371]
  DriveMLMは、現実的なシミュレータでクローズループの自律運転を実行するためのフレームワークである。 モジュールADシステムの動作計画モジュールをモデル化するために,MLLM (Multi-modal LLM) を用いる。 このモデルは、Apolloのような既存のADシステムでプラグイン・アンド・プレイすることで、クローズループ運転を行うことができる。
  論文  参考訳（メタデータ） (2023-12-14T18:59:05Z)
• PaLM-E: An Embodied Multimodal Language Model [101.29116156731762]
  本研究では,実世界の連続型センサを言語モデルに組み込むための具体的言語モデルを提案する。 我々は、複数の具体的タスクのために、事前訓練された大規模言語モデルとともに、これらのエンコーディングをエンドツーエンドにトレーニングする。 562Bパラメータを持つ大モデル PaLM-E-562B は、OK-VQA 上での最先端性能を持つ視覚言語ジェネラリストである。
  論文  参考訳（メタデータ） (2023-03-06T18:58:06Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Connecting Language and Vision for Natural Language-Based Vehicle Retrieval [77.88818029640977]
  本稿では,言語記述という新たなモダリティを,興味ある車両の探索に適用する。 言語と視覚を結びつけるために,トランスフォーマーに基づく言語モデルを用いて最先端の視覚モデルを共同で訓練することを提案する。 提案手法は第5回AIシティチャレンジで1位を獲得し、18.69%のMRRの精度で競争性能を得た。
  論文  参考訳（メタデータ） (2021-05-31T11:42:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。