論文の概要: Sim-to-Real Traffic Scene Understanding by Decoupling Semantics from Caption Generation with V-JEPA

• arxiv url: http://arxiv.org/abs/2609.18562v1
• Date: Wed, 16 Sep 2026 12:21:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.797372
• Title: Sim-to-Real Traffic Scene Understanding by Decoupling Semantics from Caption Generation with V-JEPA
• Title（参考訳）: V-JEPAによるキャプション生成からのセマンティック分離による交通現場の同時理解
• Abstract要約: 本稿では、事前に定義されたトラフィック問題から構造化されたセマンティックな事実へと、まず解決する分離されたセマンティック理解フレームワークを提案する。 凍結したV-JEPAは予測シーン表現を抽出し、軽量なLlamaベースの予測器はVQAクエリの回答を生成する。 本稿では, 統計的事前関係, 問合せ関係, 時間的イベント整合性を利用した学習自由構造改善機構を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Track 2 of the AI City Challenge 2026 requires both visual question answering (VQA) and traffic event description generation under a challenging synthetic-to real domain shift. Existing vision-language approaches often entangle semantic understanding with language generation, making them susceptible to hallucination and inconsistent reasoning across event phases. In this work, we propose a decoupled semantic understanding framework that first resolves predefined traffic questions into structured semantic facts and subsequently uses these facts to guide caption generation. A frozen V-JEPA encoder extracts predictive scene representations, while a lightweight Llama-based predictor produces answers for VQA queries. To improve reliability, we introduce a training-free structured refinement mechanism that exploits statistical priors, inter-question relationships, and temporal event consistency to correct prediction errors. The refined semantic facts are then provided to Qwen3-VL-8B to generate pedestrian and vehicle descriptions for each traffic event. Experimental results on the official 2026 AI City Challenge Track 2 benchmark show that the proposed method achieves 87.09% VQA accuracy and an overall S2 score of 60.0853, ranking first among all participating teams. These results demonstrate that predictive world representations combined with structured semantic refinement enable more accurate and reliable traffic understanding, leading to higher-quality lan guage generation.
• Abstract（参考訳）: AI City Challenge 2026のトラック2は、視覚的質問応答(VQA)とトラフィックイベント記述生成の両方を必要とする。 既存の視覚言語アプローチは、しばしば意味的理解を言語生成と結び付け、幻覚やイベントフェーズ間の一貫性のない推論の影響を受けやすい。 本研究では,まず事前に定義されたトラフィック問題を構造化されたセマンティック事実に分解し,これらの事実を用いてキャプション生成を誘導する,分離されたセマンティック理解フレームワークを提案する。 凍結したV-JEPAエンコーダは予測シーン表現を抽出し、軽量なLlamaベースの予測器はVQAクエリの回答を生成する。 信頼性を向上させるために,統計的事前関係,探索間関係,時間的事象整合性を利用して予測誤差を補正する,学習不要な構造化改良機構を導入する。 次に、洗練されたセマンティック事実をQwen3-VL-8Bに提供し、各交通イベントの歩行者および車両記述を生成する。 公式の2026年のAIシティチャレンジトラック2ベンチマークの実験結果は、提案手法が87.09%のVQA精度とS2総合スコア60.0853を達成したことを示している。 これらの結果から,予測的世界表現と構造的セマンティックリファインメントが組み合わさって,より正確で信頼性の高いトラフィック理解を実現し,高品質なランゲージ生成を実現することが示唆された。

関連論文リスト

• Detecting AI-Generated Video: A Vision-Language Dual-View Survey [48.00327016385257]
  AI生成ビデオ(AIGC-V)のリアリズムは、低レベルの検査から高レベルのセマンティック検証への移行を必要とする、急速に伝統的なアーティファクト中心である。 本稿では,AIGC-V検出の総合的な調査を行い,その課題をFactual Fidelity Verificationとして再検討する。 既存の手法を階層的で4層的な景観に整理するビジョンランゲージ・デュアルビュー分類法を提案する。
  論文  参考訳（メタデータ） (2026-07-12T14:25:04Z)
• PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction [17.259627750358046]
  歩行者の意図と軌道予測を定式化した大規模ビデオベースデータセットであるPedestrianQAを紹介する。 PedestrianQAは、リッチな注釈付き歩行者シーケンスを自然言語で表現し、VLMが視覚力学、文脈的手がかり、交通機関間の相互作用から学べるようにしている。 実証評価の結果,PedestrianQAの精巧なVLMは意図分類,軌道予測精度,説明的合理性の品質を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2026-05-23T12:56:44Z)
• OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation [61.18260993245354]
  Chain-of-Thought(CoT)推論は、VLAベースの自律運転において、軌道予測の強力なドライバである。 本稿では,2つの補助デコーダによって制御されるコンパクトな潜在トークンを通じて推論をルーティングする,統一VLAおよびワールドモデルフレームワークであるOneVLを提案する。 OneVLは、明示的なCoTを超える最初の遅延CoTメソッドとなり、応答のみのレイテンシで最先端の精度を提供する。
  論文  参考訳（メタデータ） (2026-04-20T16:37:22Z)
• CrossTrafficLLM: A Human-Centric Framework for Interpretable Traffic Intelligence via Large Language Model [6.9145155986356395]
  CrossTraffic-LLMは、将来のトラフィック状態を同時に予測し、対応する自然言語記述を生成する新しいGenAI駆動フレームワークである。 予測と記述の生成を統一することにより、CrossTrafficLLMは、より解釈可能な、実用的なアプローチを生成可能なトラフィックインテリジェンスに提供します。
  論文  参考訳（メタデータ） (2025-12-15T23:15:23Z)
• SemAgent: Semantic-Driven Agentic AI Empowered Trajectory Prediction in Vehicular Networks [26.85167428129155]
  本稿では,車載環境における予測性能を高めるために,エージェントAIとのセマンティックコミュニケーションを統合した軌道予測フレームワークを提案する。 車両間通信(V2I)において、道路側ユニット(RSU)の機能抽出エージェントは、歴史的車両軌跡からコンパクトな表現を導出し、続いて意味分析エージェントによって意味論的推論を行う。 RSUは、特徴表現とセマンティックインサイトの両方をセマンティック通信を介して対象車両に送信し、受信したセマンティックスと自身の履歴データを組み合わせることで、将来の軌跡を予測する。
  論文  参考訳（メタデータ） (2025-11-30T11:06:58Z)
• Foundation Models for Logistics: Toward Certifiable, Conversational Planning Interfaces [59.80143393787701]
  大規模言語モデル(LLM)は不確実性に対処し、導入障壁を低くしながら再計画の加速を約束する。 本稿では,自然言語対話のアクセシビリティと目標解釈の検証可能な保証とを組み合わせたニューロシンボリック・フレームワークを提案する。 わずか100個の不確実性フィルタで微調整された軽量モデルは、GPT-4.1のゼロショット性能を上回り、推論遅延を50%近く削減する。
  論文  参考訳（メタデータ） (2025-07-15T14:24:01Z)
• Pedestrian Intention Prediction via Vision-Language Foundation Models [10.351342371371675]
  本研究では,歩行者の横断意図を予測するための視覚言語基礎モデル(VLFM)の可能性について検討する。 この方法論は、視覚的フレーム、物理的キュー観察、エゴ・車両力学などの文脈情報を体系的に洗練されたプロンプトに組み込む。 結果は、車両の速度、時間の経過とともに変化し、時間意識的なプロンプトが予測精度を19.8%まで著しく向上させることを示した。
  論文  参考訳（メタデータ） (2025-07-05T19:39:00Z)
• PreGSU-A Generalized Traffic Scene Understanding Model for Autonomous Driving based on Pre-trained Graph Attention Network [23.38434020807342]
  交通要素間の相互作用の学習、抽出、表現として定義されたシーン理解は、ハイレベル自律運転(AD)における重要な課題の1つである。 現在のシーン理解手法は主に、軌道予測やリスクレベル評価などの1つの具体的な単一タスクに焦点を当てている。 グラフアテンションネットワークに基づく一般化された事前学習シーン理解モデルであるPreGSUを提案し、様々な下流タスクをサポートするために、交通シーンの普遍的相互作用と推論を学習する。
  論文  参考訳（メタデータ） (2024-04-16T03:34:35Z)
• SAFE-SIM: Safety-Critical Closed-Loop Traffic Simulation with Diffusion-Controllable Adversaries [94.84458417662407]
  制御可能なクローズドループ安全クリティカルシミュレーションフレームワークであるSAFE-SIMを紹介する。 提案手法は,1)現実の環境を深く反映した現実的な長距離安全クリティカルシナリオの生成,2)より包括的でインタラクティブな評価のための制御可能な敵行動の提供,の2つの利点をもたらす。 複数のプランナにまたがるnuScenesとnuPlanデータセットを使用して、我々のフレームワークを実証的に検証し、リアリズムと制御性の両方の改善を実証した。
  論文  参考訳（メタデータ） (2023-12-31T04:14:43Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。