論文の概要: Embodied Scene Understanding for Vision Language Models via MetaVQA

• arxiv url: http://arxiv.org/abs/2501.09167v1
• Date: Wed, 15 Jan 2025 21:36:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:30.277097
• Title: Embodied Scene Understanding for Vision Language Models via MetaVQA
• Title（参考訳）: メタVQAを用いた視覚言語モデルのための身体的シーン理解
• Authors: Weizhen Wang, Chenda Duan, Zhenghao Peng, Yuxin Liu, Bolei Zhou,
• Abstract要約: 視覚言語モデル(VLM)は、様々なモビリティアプリケーションにAIエージェントを組み込む可能性を示している。 本稿では,VLMの空間的関係とシーンダイナミクスに対する理解度を評価するための総合的なベンチマークであるMetaVQAを提案する。 実験の結果,MetaVQAデータセットを用いた微調整VLMは,安全クリティカルシミュレーションにおける空間的推論と環境理解を著しく改善することがわかった。
• 参考スコア（独自算出の注目度）: 42.70816811661304
• License:
• Abstract: Vision Language Models (VLMs) demonstrate significant potential as embodied AI agents for various mobility applications. However, a standardized, closed-loop benchmark for evaluating their spatial reasoning and sequential decision-making capabilities is lacking. To address this, we present MetaVQA: a comprehensive benchmark designed to assess and enhance VLMs' understanding of spatial relationships and scene dynamics through Visual Question Answering (VQA) and closed-loop simulations. MetaVQA leverages Set-of-Mark prompting and top-down view ground-truth annotations from nuScenes and Waymo datasets to automatically generate extensive question-answer pairs based on diverse real-world traffic scenarios, ensuring object-centric and context-rich instructions. Our experiments show that fine-tuning VLMs with the MetaVQA dataset significantly improves their spatial reasoning and embodied scene comprehension in safety-critical simulations, evident not only in improved VQA accuracies but also in emerging safety-aware driving maneuvers. In addition, the learning demonstrates strong transferability from simulation to real-world observation. Code and data will be publicly available at https://metadriverse.github.io/metavqa .
• Abstract（参考訳）: 視覚言語モデル(VLM)は、様々なモビリティアプリケーションにAIエージェントを組み込む可能性を示している。 しかし、空間的推論とシーケンシャルな意思決定能力を評価するための標準化されたクローズドループベンチマークは欠落している。 そこで本研究では,視覚質問応答(VQA)と閉ループシミュレーションを用いて,VLMの空間的関係とシーンダイナミクスに対する理解度を評価するための総合的なベンチマークであるMetaVQAを提案する。 MetaVQAは、nuScenesとWaymoデータセットからのSet-of-Markプロンプトとトップダウンビューのグラウンドトルースアノテーションを活用して、さまざまな現実世界のトラフィックシナリオに基づいて、広範囲のQ&Aペアを自動的に生成し、オブジェクト中心でコンテキストリッチなインストラクションを保証する。 実験の結果,MetaVQAデータセットを用いた微調整VLMは,VQAの精度向上だけでなく,安全に配慮した運転操作においても,その空間的推論と環境理解を著しく向上させることがわかった。 さらに,シミュレーションから実世界の観測まで,強い伝達性を示す。 コードとデータはhttps://metadriverse.github.io/metavqa で公開される。

関連論文リスト

• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [55.14033256706175]
  視覚・言語情報の統合を促進するためには,LVLM(Large Vision-Language Models)が不可欠である。 本稿では,需要評価のための自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力にまたがる7つのLVLMの広範な評価を通じて、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving [15.551625571158056]
  我々はSimpleLLM4ADと呼ばれるe2eAD法を提案する。 本手法では,e2eADタスクは知覚,予測,計画,行動の4段階に分けられる。 我々の実験は、SimpleLLM4ADが複雑な運転シナリオで競合性能を達成することを示した。
  論文  参考訳（メタデータ） (2024-07-31T02:35:33Z)
• Hard Cases Detection in Motion Prediction by Vision-Language Foundation Models [16.452638202694246]
  本研究は、自動運転におけるハードケースの検出におけるビジョン・ランゲージ・ファンデーション・モデル(VLM)の可能性を探るものである。 設計したプロンプトで逐次画像フレームを供給し,課題のあるエージェントやシナリオを効果的に識別する,実現可能なパイプラインを提案する。 NuScenesデータセット上で、パイプラインを最先端の手法に組み込むことの有効性と可能性を示す。
  論文  参考訳（メタデータ） (2024-05-31T16:35:41Z)
• Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
  SIMAは、自己改善を通じて視覚的および言語的モダリティアライメントを強化するフレームワークである。 コンテキスト内自己批判機構を使用して、プライオリティチューニングのためのレスポンスペアを選択する。 SIMAは従来の手法よりも優れたモダリティアライメントを実現することを実証する。
  論文  参考訳（メタデータ） (2024-05-24T23:09:27Z)
• SpatialVLM: Endowing Vision-Language Models with Spatial Reasoning Capabilities [59.39858959066982]
  空間的関係についての理解と推論は、視覚質問応答(VQA)とロボット工学の基本的な能力である。 我々は,1000万枚の実画像に対して,最大20億個のVQAサンプルをスケール可能な3次元空間VQAデータ自動生成フレームワークを開発した。 このようなデータに基づいてVLMを訓練することにより、定性的空間的VQAと定量的空間的VQAの両方において、その能力を大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-22T18:01:01Z)
• Context-Aware Timewise VAEs for Real-Time Vehicle Trajectory Prediction [4.640835690336652]
  マルチモーダル車軌道予測のためのコンテキスト認識手法であるContextVAEを提案する。 本手法は,現場のエージェントが提示する社会的特徴と,身体環境の制約を考慮に入れたものである。 すべてのテストデータセットにおいて、ContextVAEモデルはトレーニングが高速で、リアルタイムに高品質なマルチモーダル予測を提供する。
  論文  参考訳（メタデータ） (2023-02-21T18:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。