論文の概要: DriveXQA: Cross-modal Visual Question Answering for Adverse Driving Scene Understanding

• arxiv url: http://arxiv.org/abs/2603.11380v1
• Date: Wed, 11 Mar 2026 23:49:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:25.715933
• Title: DriveXQA: Cross-modal Visual Question Answering for Adverse Driving Scene Understanding
• Title（参考訳）: DriveXQA: 逆運転シーン理解のためのクロスモーダル視覚質問応答
• Abstract要約: 本稿では,自動運転VQAのためのマルチモーダルデータセットであるDriveXQAを提案する。 4つの視覚的モード、5つのセンサー障害、5つの気象条件に加えて、グローバルシーンレベル、アロセントリックレベル、エゴ車中心レベルという3つのタイプに分類される10,505ドルのQAペアを含む。 本稿では,DCAプロジェクタを備えたトークン効率の高いMVX-LLMを設計し,情報冗長性を緩和する。
• 参考スコア（独自算出の注目度）: 40.93547456625219
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fusing sensors with complementary modalities is crucial for maintaining a stable and comprehensive understanding of abnormal driving scenes. However, Multimodal Large Language Models (MLLMs) are underexplored for leveraging multi-sensor information to understand adverse driving scenarios in autonomous vehicles. To address this gap, we propose the DriveXQA, a multimodal dataset for autonomous driving VQA. In addition to four visual modalities, five sensor failure cases, and five weather conditions, it includes $102,505$ QA pairs categorized into three types: global scene level, allocentric level, and ego-vehicle centric level. Since no existing MLLM framework adopts multiple complementary visual modalities as input, we design MVX-LLM, a token-efficient architecture with a Dual Cross-Attention (DCA) projector that fuses the modalities to alleviate information redundancy. Experiments demonstrate that our DCA achieves improved performance under challenging conditions such as foggy (GPTScore: $53.5$ vs. $25.1$ for the baseline). The established dataset and source code will be made publicly available.
• Abstract（参考訳）: 相補的なモードでセンサを融合させることは、異常運転シーンの安定的で包括的な理解を維持する上で重要である。 しかし、マルチモーダル大言語モデル(MLLM)は、自動運転車の悪運転シナリオを理解するために、マルチセンサ情報を活用するために過小評価されている。 このギャップに対処するため,自動運転VQAのためのマルチモーダルデータセットであるDriveXQAを提案する。 4つの視覚的モード、5つのセンサー障害、5つの気象条件に加えて、グローバルシーンレベル、アロセントリックレベル、エゴ車中心レベルという3つのタイプに分類される10,505ドルのQAペアを含む。 既存のMLLMフレームワークでは複数の相補的な視覚的モダリティを入力として採用していないため、情報冗長性を軽減するためにモダリティを融合したDCAプロジェクタを備えたトークン効率の高いアーキテクチャであるMVX-LLMを設計する。 実験の結果,DCAはフォグギー(GPTScore: 53.5$ vs. 25.1$ for the baseline)のような難易度条件下での性能向上を実現していることがわかった。 確立されたデータセットとソースコードが公開されている。

関連論文リスト

• V2X-QA: A Comprehensive Reasoning Dataset and Benchmark for Multimodal Large Language Models in Autonomous Driving Across Ego, Infrastructure, and Cooperative Views [22.24590004859344]
  V2X-QAは、車側、インフラ側、協調的な視点でMLLMを評価するための実世界のデータセットとベンチマークである。 その結果、視点アクセシビリティは性能に大きく影響し、インフラ側の推論は意味のあるマクロなトラフィック理解を支援することがわかった。 V2X-MoEは、明示的なビュールーティングと視点固有のLoRAエキスパートを備えたベンチマークアラインベースラインである。
  論文  参考訳（メタデータ） (2026-04-03T04:07:35Z)
• Bench2Drive-VL: Benchmarks for Closed-Loop Autonomous Driving with Vision-Language Models [50.22099309218635]
  自律運転においては、閉ループ評価はオープンループ評価よりも信頼性の高い検証方法として広く認識されている。 本稿では,VLM駆動における閉ループ評価を実現するBench2Drive-VLについて述べる。
  論文  参考訳（メタデータ） (2026-04-01T11:38:46Z)
• UAV traffic scene understanding: A regulation embedded multi-modal network and a unified benchmark [22.241798167957214]
  無人航空機(UAV)プラットフォームからの交通状況の理解は、インテリジェント輸送システムにとって不可欠である。 既存の手法は、光学画像に大きく依存しているため、現実世界の監視において重大な課題に直面している。 本稿では,UAVトラフィックシーン理解のための新しいマルチモーダルトラフィック認知ネットワーク(MTCNet)を提案する。
  論文  参考訳（メタデータ） (2026-03-11T12:53:38Z)
• MMDrive: Interactive Scene Understanding Beyond Vision with Multi-representational Fusion [39.303609347179695]
  本研究では,従来の画像理解を一般化した3Dシーン理解フレームワークに拡張した視覚言語モデルフレームワークMMDriveを提案する。 MMDriveには、占有マップ、LiDAR点雲、テキストシーン記述を含む3つの補完的なモードが組み込まれている。 MMDriveは、既存の自動運転用ビジョン言語モデルよりも大きなパフォーマンス向上を実現しており、BLEU-4スコアは54.56、METEORスコアは41.78、精度スコアは62.7%である。
  論文  参考訳（メタデータ） (2025-12-15T10:37:59Z)
• RoboDriveVLM: A Novel Benchmark and Baseline towards Robust Vision-Language Models for Autonomous Driving [45.00491493068162]
  現在のビジョンランゲージモデル(VLM)ベースのエンドツーエンド自動運転システムは、大きな言語モデルを利用して駆動決定を生成することが多い。 このベンチマークは、VLMベースのエンドツーエンド自動運転システムにおいて、現実的な課題の2つの重要なカテゴリを体系的に評価する。 我々は,よりマルチモーダルなデータ,例えばライダーやレーダを統合潜在空間にマッピングすることで,ロボドライブVLMと呼ばれる新しいVLMベースの自律走行フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-01T05:44:06Z)
• A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
  MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。 データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。 データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-11-23T08:42:17Z)
• DriveLMM-o1: A Step-by-Step Reasoning Dataset and Large Multimodal Model for Driving Scenario Understanding [76.3876070043663]
  自律運転のための段階的視覚的推論を推し進めるためのデータセットとベンチマークであるDriveLMM-o1を提案する。 私たちのベンチマークでは、トレーニングセットに18k以上のVQAサンプル、テストセットに4k以上、知覚、予測、計画に関するさまざまな質問をカバーしています。 我々のモデルは、最終回答精度が+7.49%向上し、以前の最高のオープンソースモデルよりも3.62%向上した。
  論文  参考訳（メタデータ） (2025-03-13T17:59:01Z)
• Towards Intelligent Transportation with Pedestrians and Vehicles In-the-Loop: A Surveillance Video-Assisted Federated Digital Twin Framework [62.47416496137193]
  本稿では,歩行者や車いすによるITSを支援するための監視ビデオ支援型デジタルツイン(SV-FDT)フレームワークを提案する。 i)複数のソースからトラフィック監視ビデオを収集するエンドレイヤ、(ii)セマンティックセグメンテーションに基づく視覚理解、ツインエージェントベースのインタラクションモデリング、およびローカルデジタルツインシステム(LDTS)をローカルで作成するエッジレイヤ、(iii)異なるリージョンにわたるLDTSを統合してグローバルDTモデルをリアルタイムで構築するクラウドレイヤの3層で構成されている。
  論文  参考訳（メタデータ） (2025-03-06T07:36:06Z)
• RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments [62.5830455357187]
  我々は3種類のセンサー(Camera, LiDAR, Fisheye)をベースとした自我中心型マルチセンサデータ収集プラットフォームを構築した。 大規模なマルチモーダルデータセットであるRoboSenseは、エゴセントリックなロボット知覚を促進するために構築されている。
  論文  参考訳（メタデータ） (2024-08-28T03:17:40Z)
• Multi-Frame, Lightweight & Efficient Vision-Language Models for Question Answering in Autonomous Driving [0.0]
  我々は,自律運転のための視覚質問応答を行う,効率的で軽量な多フレーム視覚言語モデルを開発した。 従来のアプローチと比較して、EM-VLM4ADは少なくとも10倍のメモリと浮動小数点演算を必要とする。
  論文  参考訳（メタデータ） (2024-03-28T21:18:33Z)
• M2DA: Multi-Modal Fusion Transformer Incorporating Driver Attention for Autonomous Driving [11.36165122994834]
  自律運転にドライバ注意(M2DA)を組み込んだ多モード核融合トランスを提案する。 ドライバーの注意を取り入れることで、自動運転車に人間のようなシーン理解能力を付与し、重要な領域を正確に特定し、安全性を確保する。
  論文  参考訳（メタデータ） (2024-03-19T08:54:52Z)
• V2V4Real: A Real-world Large-scale Dataset for Vehicle-to-Vehicle Cooperative Perception [49.7212681947463]
  車両から車両への協調認識システム(V2V)は、自動運転産業に革命をもたらす大きな可能性を秘めている。 V2V4Realは、V2V知覚のための世界初の大規模実世界のマルチモーダルデータセットである。 我々のデータセットは、20KのLiDARフレーム、40KのRGBフレーム、240Kの注釈付き5クラスの3Dバウンディングボックス、HDMapからなる410kmの走行領域をカバーしている。
  論文  参考訳（メタデータ） (2023-03-14T02:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。