論文の概要: Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering
- arxiv url: http://arxiv.org/abs/2608.28762v1
- Date: Fri, 28 Aug 2026 18:05:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.739976
- Title: Inter-3D VQA: A Roadside Multimodal Benchmark for 3D Spatiotemporally Grounded Visual Question Answering
- Title（参考訳）: Inter-3D VQA:3次元時空間視覚質問応答のためのロードサイドマルチモーダルベンチマーク
- Abstract要約: 交差点における3次元インタラクションのための大規模マルチモーダルベンチマークであるInter-3D VQAを紹介する。
インター3D VQAは、車線レベルの位置、オブジェクトの関係、動きのパターン、およびニアミス指向の相互作用推論をカバーする407KのQAペアを含んでいる。
- 参考スコア（独自算出の注目度）: 2.018732483255139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in visual question answering (VQA) and multimodal large language models (MLLMs) have enabled natural-language reasoning over traffic scenes. However, existing benchmarks are largely built from ego-vehicle views or 2D roadside videos, limiting their ability to evaluate 3D-grounded reasoning over real-world distances, trajectories, infrastructure topology, and safety-critical interactions. We introduce Inter-3D VQA, a large-scale roadside multimodal benchmark for 3D spatiotemporally grounded VQA at intersections. Built from synchronized point clouds and multi-view images, Inter-3D VQA contains 407K QA pairs covering lane-level positions, object relationships, motion patterns, and near-miss-oriented interaction reasoning. We further propose Inter-Geo, an MLLM baseline that integrates object- and scene-level aligned LiDAR representations, and Inter-Metrics, a unified evaluation framework for textual consistency, numerical accuracy, and semantic correctness. Experiments show that Inter-Geo outperforms image-based VLMs, especially on grounded spatial and temporal reasoning tasks. Our benchmark and codes are available at https://github.com/ASU-Suo-Lab/Inter-3D-VQA .
- Abstract（参考訳）: 近年,視覚的質問応答 (VQA) や多モーダル大規模言語モデル (MLLM) の進歩により,交通シーンに対する自然言語推論が可能になった。
しかし、既存のベンチマークは、ego-vehicleビューまたは2Dロードサイドビデオから構築されており、現実世界の距離、軌道、インフラストラクチャトポロジ、安全とクリティカルな相互作用に関する3Dグラウンド推論を評価する能力を制限している。
交差点における3次元時空間VQAのための大規模道路側マルチモーダルベンチマークであるInter-3D VQAを紹介する。
Inter-3D VQAは、同期された点雲とマルチビュー画像から構築され、車線レベルの位置、オブジェクトの関係、動きパターン、ニアミス指向の相互作用推論を含む407KのQAペアを含んでいる。
さらに、オブジェクトレベルとシーンレベルのLiDAR表現を統合したMLLMベースラインであるInter-Geoと、テキスト整合性、数値的精度、意味的正確性を統一した評価フレームワークであるInter-Metricsを提案する。
実験により、Inter-Geoは画像ベースのVLM、特に地上の空間的および時間的推論タスクより優れていた。
私たちのベンチマークとコードはhttps://github.com/ASU-Suo-Lab/Inter-3D-VQAで公開されています。
関連論文リスト
- MultiView-Bench: A Diagnostic Benchmark for World-Centric Multi-View Integration in VLMs [40.317798580235]
VLMの最近のベンチマークは、単一の視点または限られた視点の知覚を主に評価し、視点をまたいだ観察を一貫性のある世界中心の(偏心的な)3Dメンタルモデルに統合するコア認知能力を未検証のまま残している。
我々は,総合的な3Dシーン理解のためのマルチビュー統合を評価するための診断ベンチマークであるMultiView-Benchを紹介する。
情報的視点を積極的に選択し、知覚し、多視点エビデンスを融合するマルチエージェントフレームワークであるViewNavigatorを提案する。
論文 参考訳（メタデータ） (2026-07-09T22:22:42Z) - HMR3D: Hierarchical Multimodal Representation for 3D Scene Understanding with Large Vision-Language Model [14.277165215664425]
大規模視覚言語モデル (VLM) は3次元シーン理解に大きな可能性を示唆している。
既存のVLMベースのアプローチは、通常、VLMの埋め込み空間と3Dシーンの特徴を一致させる。
本稿では3次元シーン推論のための新しい階層型マルチモーダル表現を提案する。
論文 参考訳（メタデータ） (2025-11-28T08:06:20Z) - Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。
我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。
提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
論文 参考訳（メタデータ） (2025-11-14T04:16:09Z) - Advancing 3D Scene Understanding with MV-ScanQA Multi-View Reasoning Evaluation and TripAlign Pre-training Dataset [56.533371387182065]
MV-ScanQAは、新しい3D質問応答データセットである。
本稿では,大規模かつ低コストな2D-3D言語事前学習コーパスTripAlignについて紹介する。
さらに,MV-ScanQAにおける多視点推論のためのベースライン手法であるLEGOを開発し,事前学習した2次元LVLMの知識をTripAlignで3Dドメインに転送する。
論文 参考訳（メタデータ） (2025-08-14T20:35:59Z) - Out of Sight, Not Out of Context? Egocentric Spatial Reasoning in VLMs Across Disjoint Frames [17.975173937253494]
エゴセントリックなビデオを操作するAIアシスタントは、時間をかけて空間的な手がかりを統合する必要がある。
Disjoint-3DQAは、VLMのこの能力を評価するためのQAベンチマークである。
論文 参考訳（メタデータ） (2025-05-30T06:32:26Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳（メタデータ） (2025-05-26T17:56:30Z) - Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。
我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。
その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
論文 参考訳（メタデータ） (2025-05-26T15:28:17Z) - ST-VLM: Kinematic Instruction Tuning for Spatio-Temporal Reasoning in Vision-Language Models [63.12671761097701]
視覚言語モデル(Ms)は、移動距離や移動物体の速度などの要素を分析するのに苦労する。
我々はSTKitとST-Benchと呼ばれるベンチマークデータセットを構築した。
本稿では,ST-VLMが多様な領域やタスクにまたがって頑健に一般化されていることを示す。
論文 参考訳（メタデータ） (2025-03-25T05:08:06Z) - Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。
本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。
この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文 参考訳（メタデータ） (2024-08-01T17:57:12Z) - MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。
結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
論文 参考訳（メタデータ） (2024-06-13T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。