論文の概要: D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

• arxiv url: http://arxiv.org/abs/2607.19528v1
• Date: Tue, 21 Jul 2026 19:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.911252
• Title: D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models
• Title（参考訳）: D3VL: 言語モデルを用いた3次元時系列データとビデオからの運転シーン理解
• Abstract要約: 本稿では,3次元センサ,特にLiDARとステレオカメラを用いたMLLMの有効性について考察する。 本稿ではD3VLについて述べる。D3VLは2次元および3次元時系列データを単一かつ単純なアーキテクチャで統合する新しいMLLMフレームワークである。
• 参考スコア（独自算出の注目度）: 5.911638143154253
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have triggered the development of end-to-end MLLMs for autonomous driving. However, the main emphasis to date has been for MLLMs using 2D images and videos. In contrast, this paper considers MLLM effectiveness using 3D sensors, particularly LiDAR and stereo cameras. LiDAR presents unique challenges to integration within an MLLM, largely because of data sparsity and lack of a grid structure for the data. For similar reasons, fusion of camera and LiDAR data within an MLLM pipeline is also uncommon. However, most autonomous systems rely on LiDAR-based sensing, and incorporating 3D data has been proven to improve performance in traditional 3D scene perception tasks. This paper presents D3VL, a novel MLLM framework that integrates 2D and 3D time-series data in a single but simple architecture. The model aims to answer questions involving traffic scene understanding and safety. D3VL shows an 11% improvement in the KITTI Question-Answering (QA) dataset compared to baseline methods in processing 2D and 3D time-series data. This paper further introduces the Waymo QA dataset extension, which assesses models' capabilities in processing 3D and time-series data under diverse driving conditions. D3VL implementation code and WaymoQA extension can be found on our supplemental website: https://automotivesafety-lvlm.github.io
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、自動運転のためのエンドツーエンドMLLMの開発を促している。 しかし,2D画像やビデオを用いたMLLMでは,これまでにも注目されてきた。 対照的に,3次元センサ,特にLiDARとステレオカメラを用いたMLLMの有効性を考察する。 LiDARはMLLM内での統合に固有の課題を提示している。 同様の理由から、MLLMパイプライン内のカメラとLiDARデータの融合も珍しくない。 しかし、ほとんどの自律システムはLiDARに基づくセンシングに依存しており、3Dデータを組み込むことで従来の3Dシーン認識タスクのパフォーマンスを向上させることが証明されている。 本稿ではD3VLについて述べる。D3VLは2次元および3次元時系列データを単一かつ単純なアーキテクチャで統合する新しいMLLMフレームワークである。 このモデルは交通現場の理解と安全に関する質問に答えることを目的としている。 D3VLは、KITTI Question-Answering (QA)データセットを2Dおよび3D時系列データ処理のベースライン手法と比較して11%改善している。 本稿では、様々な運転条件下での3Dおよび時系列データの処理におけるモデルの能力を評価するWaymo QAデータセット拡張についても紹介する。 D3VL実装コードとWaymoQA拡張は、私たちの追加ウェブサイトで参照できます。

関連論文リスト

• Follow-Your-Instruction: A Comprehensive MLLM Agent for World Data Synthesis [44.66179436245703]
  Follow-Your-Instructionは、高品質な2D、3D、4Dデータを自動合成するフレームワークである。 3Dレイアウトを構築し、セマンティックリファインメントのためにビジョン・ランゲージ・モデル(VLM)を利用する。 本研究では,2D,3D,4D生成タスクに関する総合的な実験を通じて,生成データの品質を評価する。
  論文  参考訳（メタデータ） (2025-08-07T17:12:54Z)
• MLLMs Need 3D-Aware Representation Supervision for Scene Understanding [14.083262551714133]
  3DRSは、事前訓練された3D基礎モデルから監督を導入することでMLLM 3D表現学習を強化するフレームワークである。 本手法は3次元モデルから抽出したリッチな3次元知識とMLLMの視覚的特徴を一致させ,シーン理解を効果的に改善する。
  論文  参考訳（メタデータ） (2025-06-02T17:58:24Z)
• Tracking Meets Large Multimodal Models for Driving Scenario Understanding [76.71815464110153]
  大規模マルチモーダルモデル(LMM)は、最近自動運転研究で注目されている。 本稿では3次元の空間的・時間的詳細を復元するための追加入力として追跡情報を統合することを提案する。 本稿では,この追跡情報をLMMに埋め込んで,運転シナリオの理解を深めるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-18T17:59:12Z)
• PiSA: A Self-Augmented Data Engine and Training Strategy for 3D Understanding with Large Models [20.256394783857676]
  PiSA-Engineは、3次元空間意味論に富んだ命令ポイント言語データセットを生成するためのフレームワークである。 PiSA-Benchは6つの重要な側面を網羅した総合的な3Dベンチマークである。 ゼロショット3Dオブジェクトキャプションと生成分類におけるPointLLM-PiSAの最先端性能を示す実験結果が得られた。
  論文  参考訳（メタデータ） (2025-03-13T16:37:26Z)
• 3UR-LLM: An End-to-End Multimodal Large Language Model for 3D Scene Understanding [49.15555885075644]
  オープンソースの2D MLLMとLCMをベースとしたパイプラインを開発し,高品質な3Dテキストペアを生成する。 本稿では,3次元シーンの正確な解釈を目的としたエンドツーエンド3次元MLLMである3UR-LLMモデルを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T03:50:23Z)
• LLMI3D: MLLM-based 3D Perception from a Single 2D Image [77.13869413871028]
  マルチモーダルな大言語モデル(MLLM)は、一般的な能力では優れているが、3Dタスクでは性能が劣る。 本稿では,3次元局所空間物体認識の弱さ,テキストに基づく幾何学的数値出力の低さ,カメラ焦点変動の処理能力の低下に対する解決策を提案する。 我々は,事前学習したMLLMに対してパラメータ効率の良い微調整を採用し,強力な3次元知覚MLLMであるLLMI3Dを開発した。
  論文  参考訳（メタデータ） (2024-08-14T10:00:16Z)
• Is a 3D-Tokenized LLM the Key to Reliable Autonomous Driving? [66.6886931183372]
  我々は,LDMと1層線形プロジェクタを接続する3Dトークン化器として,DETR方式の3Dパーセプトロンを導入する。 その単純さにもかかわらず、Atlasは3D検出とエゴ計画の両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-05-28T16:57:44Z)
• Language-Image Models with 3D Understanding [59.499585515469974]
  LV3Dと呼ばれる2Dおよび3Dのための大規模事前学習データセットを開発した。 次に,新しいMLLMであるCube-LLMを導入し,LV3Dで事前学習する。 純粋なデータスケーリングは、3D特有のアーキテクチャ設計やトレーニング目的を使わずに、強力な3D知覚能力を実現することを示す。
  論文  参考訳（メタデータ） (2024-05-06T17:57:27Z)
• IDD-3D: Indian Driving Dataset for 3D Unstructured Road Scenes [79.18349050238413]
  デプロイ可能なディープラーニングアーキテクチャの準備とトレーニングには、さまざまなトラフィックシナリオに適したモデルが必要である。 インドなどいくつかの発展途上国で見られる非構造的で複雑な運転レイアウトは、これらのモデルに挑戦している。 我々は、複数のカメラと12kの注釈付き駆動LiDARフレームを備えたLiDARセンサーのマルチモーダルデータからなる新しいデータセットIDD-3Dを構築した。
  論文  参考訳（メタデータ） (2022-10-23T23:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。