論文の概要: OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning
- arxiv url: http://arxiv.org/abs/2606.15749v1
- Date: Sun, 14 Jun 2026 11:16:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.818522
- Title: OmniTraffic: A Controllable Generation Pipeline and Benchmark for Spatio-Temporal Traffic Reasoning
- Title（参考訳）: OmniTraffic: 制御可能な生成パイプラインと時空間トラフィック推論のためのベンチマーク
- Abstract要約: トラフィック推論のための制御可能なパイプライン生成とベンチマークであるOmniTrafficを紹介した。
現実世界の12の交差点に建設され、2つの国の監視映像によって再建されている。
シーン認識、多視点、時間的推論、意思決定支援にまたがる3段階のタスク階層を定義する。
- 参考スコア（独自算出の注目度）: 47.85568621735744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traffic scene understanding requires models to reason beyond object recognition, including lane topology, multi-view geometry, temporal evolution, and signal-phase semantics. However, existing traffic-oriented multimodal benchmarks largely emphasize passive visual recognition or isolated video understanding, offering limited support for evaluating structure-aware traffic reasoning under controlled conditions. We introduce OmniTraffic, a controllable generation pipeline and benchmark for spatio-temporal traffic reasoning. Built around 12 real-world intersections reconstructed into editable 3D traffic environments and complemented by surveillance footage from two countries, OmniTraffic supports both controlled and natural-condition evaluation. It defines a three-level task hierarchy spanning scene perception, multi-view and temporal reasoning, and decision support. Using structured traffic metadata, OmniTraffic generates synchronized multi-view VQA samples covering vehicle states, lane functions, view--BEV correspondence, temporal dynamics, and signal-phase analysis, resulting in 8M VQA samples and a 3K human-verified test set. Evaluation of eleven frontier MLLMs reveals a large human--model gap, with the most pronounced failures in topology-grounded and spatio-temporal reasoning tasks. Fine-tuning a lightweight MLLM on simulated OmniTraffic data further improves performance on real-world traffic scenes, demonstrating the value of simulation-generated supervision for traffic-specific multimodal reasoning. Beyond a fixed dataset, OmniTraffic provides an extensible pipeline with configurable intersections, camera views, traffic demands, signal phases, visual conditions, and rare events.
- Abstract（参考訳）: 交通シーンの理解には、車線トポロジー、多視点幾何学、時間的進化、信号相意味論など、物体認識以上の推論を行うモデルが必要である。
しかし、既存のトラフィック指向のマルチモーダルベンチマークでは、受動的視覚認識や孤立したビデオ理解に重点を置いており、制御条件下での構造認識によるトラフィック推論を評価するための限定的なサポートを提供している。
我々は、制御可能な生成パイプラインであるOmniTrafficを導入し、時空間トラフィック推論のためのベンチマークを行う。
OmniTrafficは、12の現実世界の交差点を編集可能な3Dの交通環境に再構築し、2つの国の監視映像を補完する。
シーン認識、多視点、時間的推論、意思決定支援にまたがる3段階のタスク階層を定義する。
構造化されたトラフィックメタデータを使用して、OmniTrafficは車両の状態、車線機能、ビュー-BEV対応、時間的ダイナミクス、信号位相分析を含む同期マルチビューVQAサンプルを生成し、8MのVQAサンプルと3Kの人間検証テストセットを生成する。
11個のフロンティアMLLMの評価は、トポロジ的および時空間的推論タスクにおいて最も顕著な失敗を伴う、大きな人間モデルギャップを示す。
シミュレーションされたOmniTrafficデータに基づく軽量MLLMの微調整により、実世界の交通シーンのパフォーマンスが向上し、交通固有のマルチモーダル推論のためのシミュレーション生成監視の価値が示された。
固定データセット以外にも、OmniTrafficは、設定可能な交差点、カメラビュー、トラフィック要求、信号フェーズ、視覚条件、レアイベントを備えた拡張可能なパイプラインを提供する。
関連論文リスト
- UAV traffic scene understanding: A regulation embedded multi-modal network and a unified benchmark [22.241798167957214]
無人航空機(UAV)プラットフォームからの交通状況の理解は、インテリジェント輸送システムにとって不可欠である。
既存の手法は、光学画像に大きく依存しているため、現実世界の監視において重大な課題に直面している。
本稿では,UAVトラフィックシーン理解のための新しいマルチモーダルトラフィック認知ネットワーク(MTCNet)を提案する。
論文 参考訳（メタデータ） (2026-03-11T12:53:38Z) - Traffic-MLLM: A Spatio-Temporal MLLM with Retrieval-Augmented Generation for Causal Inference in Traffic [8.754321713184483]
本稿では,詳細なトラフィック解析に適した多モーダル大規模言語モデルであるTraffic-LMを提案する。
我々のモデルは、高品質な交通特化マルチモーダルデータセットを活用し、軽量な微調整にLowRanktemporal Adaptation (LoRA) を用いる。
また、検索ロッドジェネレーション(LoRAG)による最先端推論を融合した革新的な知識モジュールも導入する。
論文 参考訳（メタデータ） (2025-09-14T08:53:06Z) - Towards Intelligent Transportation with Pedestrians and Vehicles In-the-Loop: A Surveillance Video-Assisted Federated Digital Twin Framework [62.47416496137193]
本稿では,歩行者や車いすによるITSを支援するための監視ビデオ支援型デジタルツイン(SV-FDT)フレームワークを提案する。
i)複数のソースからトラフィック監視ビデオを収集するエンドレイヤ、(ii)セマンティックセグメンテーションに基づく視覚理解、ツインエージェントベースのインタラクションモデリング、およびローカルデジタルツインシステム(LDTS)をローカルで作成するエッジレイヤ、(iii)異なるリージョンにわたるLDTSを統合してグローバルDTモデルをリアルタイムで構築するクラウドレイヤの3層で構成されている。
論文 参考訳（メタデータ） (2025-03-06T07:36:06Z) - When language and vision meet road safety: leveraging multimodal large language models for video-based traffic accident analysis [6.213279061986497]
SeeUnsafeは、ビデオベースの交通事故分析を、よりインタラクティブで対話的なアプローチに変換するフレームワークである。
本フレームワークでは,様々な長さの動画をマルチモーダル・アグリゲーション・ストラテジーで処理し,レビューと評価のために構造化された応答を生成する。
本研究では,トヨタウーブン交通安全データセットについて広範な実験を行い,SeeUnsafeが事故対応ビデオ分類と視覚的グラウンド化を効果的に実施できることを実証した。
論文 参考訳（メタデータ） (2025-01-17T23:35:34Z) - TrafficVLM: A Controllable Visual Language Model for Traffic Video Captioning [0.0]
本稿では,車載エゴカメラビューのためのマルチモーダル高密度映像キャプションモデルであるTrafficVLMを提案する。
私たちのソリューションは、AI City Challenge 2024のトラック2で傑出した成果を上げました。
論文 参考訳（メタデータ） (2024-04-14T14:51:44Z) - eTraM: Event-based Traffic Monitoring Dataset [23.978331129798356]
我々は、イベントベースのトラフィック監視データセットであるeTraMを紹介した。
eTraMは、様々な照明と気象条件の異なる交通シナリオから10時間のデータを提供する。
車両から歩行者、マイクロモビリティまで、交通参加者の8つの異なるクラスをカバーしている。
論文 参考訳（メタデータ） (2024-03-29T04:58:56Z) - A Holistic Framework Towards Vision-based Traffic Signal Control with
Microscopic Simulation [53.39174966020085]
交通信号制御(TSC)は交通渋滞を低減し、交通の流れを円滑にし、アイドリング時間を短縮し、CO2排出量を減らすために重要である。
本研究では,道路交通の流れを視覚的観察によって調節するTSCのコンピュータビジョンアプローチについて検討する。
我々は、視覚ベースのTSCとそのベンチマークに向けて、TrafficDojoと呼ばれる総合的なトラフィックシミュレーションフレームワークを導入する。
論文 参考訳（メタデータ） (2024-03-11T16:42:29Z) - OpenLane-V2: A Topology Reasoning Benchmark for Unified 3D HD Mapping [84.65114565766596]
交通シーン構造を考慮したトポロジ推論のための最初のデータセットであるOpenLane-V2を提案する。
OpenLane-V2は2000のアノテートされた道路シーンで構成され、交通要素と車線との関係を記述している。
様々な最先端手法を評価し,OpenLane-V2の定量的,定性的な結果を示し,交通現場におけるトポロジ推論の今後の道筋を示す。
論文 参考訳（メタデータ） (2023-04-20T16:31:22Z) - Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。
本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
論文 参考訳（メタデータ） (2021-04-19T11:48:13Z) - Multi-intersection Traffic Optimisation: A Benchmark Dataset and a
Strong Baseline [85.9210953301628]
交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。
問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。
エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
論文 参考訳（メタデータ） (2021-01-24T03:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。