論文の概要: OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning

• arxiv url: http://arxiv.org/abs/2405.01533v2
• Date: Wed, 16 Apr 2025 15:12:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:36:42.380870
• Title: OmniDrive: A Holistic Vision-Language Dataset for Autonomous Driving with Counterfactual Reasoning
• Title（参考訳）: OmniDrive: 反現実的推論による自律運転のためのホロスティックなビジョンランゲージデータセット
• Authors: Shihao Wang, Zhiding Yu, Xiaohui Jiang, Shiyi Lan, Min Shi, Nadine Chang, Jan Kautz, Ying Li, Jose M. Alvarez,
• Abstract要約: 本稿では,エージェントモデルと3次元駆動タスクを対応づける総合的視覚言語データセットを提案する。 提案手法は,代替行動を検討する人間ドライバーと同様,潜在的なシナリオとその成果を評価することによって意思決定を促進する。
• 参考スコア（独自算出の注目度）: 68.45848423501927
• License:
• Abstract: The advances in vision-language models (VLMs) have led to a growing interest in autonomous driving to leverage their strong reasoning capabilities. However, extending these capabilities from 2D to full 3D understanding is crucial for real-world applications. To address this challenge, we propose OmniDrive, a holistic vision-language dataset that aligns agent models with 3D driving tasks through counterfactual reasoning. This approach enhances decision-making by evaluating potential scenarios and their outcomes, similar to human drivers considering alternative actions. Our counterfactual-based synthetic data annotation process generates large-scale, high-quality datasets, providing denser supervision signals that bridge planning trajectories and language-based reasoning. Futher, we explore two advanced OmniDrive-Agent frameworks, namely Omni-L and Omni-Q, to assess the importance of vision-language alignment versus 3D perception, revealing critical insights into designing effective LLM-agents. Significant improvements on the DriveLM Q\&A benchmark and nuScenes open-loop planning demonstrate the effectiveness of our dataset and methods.
• Abstract（参考訳）: 視覚言語モデル(VLM)の進歩は、その強力な推論能力を活用する自動運転への関心の高まりにつながっている。 しかし、これらの機能を2Dから完全な3D理解に拡張することは、現実世界のアプリケーションにとって不可欠である。 この課題に対処するために,エージェントモデルと3D駆動タスクを対応付ける総合的な視覚言語データセットであるOmniDriveを提案する。 このアプローチは、潜在的なシナリオとその成果を評価することで意思決定を強化する。 提案手法は, 大規模かつ高品質なデータセットを生成し, 計画軌道と言語に基づく推論を橋渡しする, より密集した監視信号を提供する。 さらに,Omni-L と Omni-Q という2つの高度な OmniDrive-Agent フレームワークを探索し,視覚言語アライメントと3次元知覚の重要性を評価し,有効な LLM-エージェントを設計するための重要な洞察を明らかにする。 DriveLM Q\&AベンチマークとnuScenesオープンループ計画の重要な改善は、我々のデータセットとメソッドの有効性を示している。

関連論文リスト

• 3D-MoE: A Mixture-of-Experts Multi-modal LLM for 3D Vision and Pose Diffusion via Rectified Flow [69.94527569577295]
  3次元の視覚と空間的推論は、長い間、我々の3次元の世界を正確に知覚するのに好ましいと認識されてきた。 高品質な3Dデータ収集の難しさから,近年,この領域の研究が勢いを増している。 我々は,既存の高密度活性化LDMをマルチモーダルデータ処理に有効であることが証明されたMix-of-experts(MoE)モデルに変換することを提案する。
  論文  参考訳（メタデータ） (2025-01-28T04:31:19Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? [66.6886931183372]
  我々は,LDMと1層線形プロジェクタを接続する3Dトークン化器として,DETR方式の3Dパーセプトロンを導入する。 その単純さにもかかわらず、Atlasは3D検出とエゴ計画の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T16:57:44Z)
• Think-Program-reCtify: 3D Situated Reasoning with Large Language Models [68.52240087262825]
  本研究は,3次元環境における自我中心の観察から得られる質問に答えることを目的とした3次元位置推論課題に対処する。 我々は,ThinkProgram-reCtifyループを通じて,大規模言語モデル(LLM)の計画,ツール使用,リフレクション機能を活用する新しいフレームワークを提案する。 SQA3Dベンチマークの実験と解析により,本手法の有効性,解釈可能性,ロバスト性を実証した。
  論文  参考訳（メタデータ） (2024-04-23T03:22:06Z)
• SpatialPIN: Enhancing Spatial Reasoning Capabilities of Vision-Language Models through Prompting and Interacting 3D Priors [42.85605789984155]
  空間的視覚的質問応答(VQA)において、最先端の空間的推論強化VLMを訓練する 本研究では,VLMの空間的推論能力を高めるためのフレームワークであるSpatialPINを提案する。 我々の空間推論型VLMは、空間的VQAの様々な形態でうまく機能し、ピックやスタック、軌道計画といった下流ロボット作業に役立てることができる。
  論文  参考訳（メタデータ） (2024-03-18T17:38:29Z)
• An Embodied Generalist Agent in 3D World [67.16935110789528]
  本稿では,3次元世界における知覚,接地,推論,計画,行動に優れた多モードジェネリストエージェントLEOを紹介する。 我々は,多種多様なオブジェクトレベルおよびシーンレベルのタスクからなる大規模データセットを収集する。 3Dキャプション,質問応答,具体的推論,ナビゲーション,操作など,多岐にわたるLEOの卓越した習熟度を実証した。
  論文  参考訳（メタデータ） (2023-11-18T01:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。