論文の概要: JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting

• arxiv url: http://arxiv.org/abs/2609.21379v1
• Date: Fri, 18 Sep 2026 06:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.884195
• Title: JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting
• Title（参考訳）: JEPA Guided Diffusion: 生成的トラフィック予測のための予測的ビジョンランゲージ条件
• Abstract要約: 近年の拡散型ビデオ生成モデルは、視覚的に妥当な予測を生成するが、高価なエンドツーエンドトレーニングを必要とし、しばしば画像合成でシーン理解を絡ませる。 本稿では、将来の表現学習と映像生成を分離する分離予測フレームワークを提案する。 凍結したV-JEPAエンコーダは、まず観測されたトラフィックビデオから予測潜在表現を抽出し、セマンティック潜在空間の背景のシーンダイナミクスをキャプチャする。 軽量の遅延アライメントモジュールは、これらの表現を凍結されたコスモス拡散モジュールの条件空間に投影し、大きな生成モデルを再学習することなく、将来のビデオ合成を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate traffic forecasting requires both understanding scene dynamics and synthesizing realistic future observations. Recent diffusion-based video generation models produce visually plausible predictions but require expensive end-to-end training and often entangle scene understanding with image synthesis. In this work, we propose a decoupled forecasting framework that separates future representation learning from video generation. A frozen V-JEPA encoder first extracts predictive latent representations from the observed traffic videos, capturing the underlying scene dynamics in a semantic latent space. A lightweight latent alignment module then projects these representations into the conditioning space of a frozen Cosmos diffusion module, enabling future video synthesis without retraining the large generative model. By freezing all foundation models and training only the lightweight alignment module, the proposed framework substantially reduces optimization complexity while preserving forecasting capability. Experimental results on the AI City Challenge 2026 Track 5 benchmark demonstrate that the proposed method achieved a score of 75.1297, ranking third in the competition. These results suggest that predictive world representations learned by V-JEPA can effectively guide downstream video generation, providing a practical and efficient alternative to end-to-end diffusion-based forecasting.
• Abstract（参考訳）: 正確な交通予測には、シーンのダイナミクスを理解し、現実的な将来の観測を合成する必要がある。 近年の拡散型ビデオ生成モデルは、視覚的に妥当な予測を生成するが、高価なエンドツーエンドトレーニングを必要とし、しばしば画像合成でシーン理解を絡ませる。 本研究では,将来の表現学習と映像生成を分離する分離予測フレームワークを提案する。 凍結したV-JEPAエンコーダは、まず観測されたトラフィックビデオから予測潜在表現を抽出し、セマンティック潜在空間の背景のシーンダイナミクスをキャプチャする。 軽量の遅延アライメントモジュールは、これらの表現を凍結されたコスモス拡散モジュールの条件空間に投影し、大きな生成モデルを再学習することなく、将来のビデオ合成を可能にする。 全ての基礎モデルを凍結し、軽量アライメントモジュールのみを訓練することにより、予測能力を保ちながら最適化の複雑さを大幅に低減する。 AI City Challenge 2026 Track 5ベンチマークの実験結果は、提案手法が75.1297のスコアを獲得し、競争で3位となったことを示している。 これらの結果から,V-JEPAが学習した予測的世界表現は,下流ビデオ生成を効果的に導くことができ,エンドツーエンドの拡散予測に代わる実用的で効率的な代替手段となることが示唆された。

関連論文リスト

• Drive-HWM: Hierarchical World Models for Dynamic-Latent Guided Autonomous Driving [78.83165764484562]
  Drive-HWMは階層的なスローファーストな世界モデリングフレームワークで、将来の表現予測とアクション生成を補完的な時間スケールで構成する。 次のフレーム予測では、高速モデルが差し迫ったシーンの進化を捉え、一方1ステップのアクション生成は、新しい観察が到着すると、決定を継続的に更新することを可能にする。
  論文  参考訳（メタデータ） (2026-09-03T09:21:19Z)
• CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting [1.0742675209112622]
  本研究では,事前に訓練されたコスモス3-ナノ世界基盤モデルに基づく交通映像予測フレームワークを提案する。 我々のアプローチは、大規模な事前学習された世界モデルを下流予測タスクにうまく適応させることが、主に分布アライメントに依存するという観察に動機付けられている。 CosmosAlignは、AI City Challenge 2026 Track 5ベンチマークで76.49の最終的なスコアを獲得し、最終リーダーボードで第1位となった。
  論文  参考訳（メタデータ） (2026-08-07T18:34:29Z)
• Video Generation with Predictive Latents [50.3100375593545]
  ビデオオートエンコーダ(Eational)は、視覚世界をコンパクトな潜在空間にマッピングすることで、潜在映像生成モデリングを可能にする。 ビデオラテントの拡散性を高める方法はまだ重要で未解決の課題である。 本稿では,映像再構成による予測学習を統一する,シンプルで効果的な予測的再構築手法を提案する。
  論文  参考訳（メタデータ） (2026-05-04T01:30:04Z)
• Representations Before Pixels: Semantics-Guided Hierarchical Video Prediction [12.661995278049764]
  本稿では,階層型ビデオ予測フレームワークRe2Pixを紹介する。 予測は意味表現予測と表現誘導視覚合成の2つの段階に分けられる。 重要な課題は、トレーニング中に利用できる地道表現と推論で使用される予測表現との間の列車テストのミスマッチから生じる。
  論文  参考訳（メタデータ） (2026-04-13T16:42:46Z)
• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
  視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。 本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:59:42Z)
• Say, Dream, and Act: Learning Video World Models for Instruction-Driven Robot Manipulation [31.881404705268356]
  本稿では,高速かつ予測可能な映像調和行動のためのフレームワークを提案する。 提案手法はまず,信頼性の高い将来予測を保証するために,ロバストなビデオ生成モデルを選択し,適応する。 本手法は,時間的コヒーレントで空間的精度の高い映像予測を行い,正確な操作を直接支援する。
  論文  参考訳（メタデータ） (2026-02-11T10:23:52Z)
• Future Optical Flow Prediction Improves Robot Control & Video Generation [100.87884718953099]
  本稿では,VLM(Vision-Language Model)と拡散アーキテクチャを組み合わせた新しい光フロー予測モデルFOFPredを紹介する。 我々のモデルは、高度にスケーラブルだが非構造化のソースである、Webスケールの人間活動データに基づいて訓練されている。 言語駆動設定下でのロボット操作とビデオ生成による評価は、FOFPredのクロスドメインの汎用性を確立する。
  論文  参考訳（メタデータ） (2026-01-15T18:49:48Z)
• Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations [53.91818843831925]
  NExT-Vidは,新しい自己回帰型視覚生成事前学習フレームワークである。 本研究では,文脈分離型自己回帰予測器を導入し,セマンティック表現をターゲットデコーディングから切り離す。 文脈分離型フローマッチング事前学習により,本手法は強い表現を実現する。
  論文  参考訳（メタデータ） (2025-12-24T07:07:08Z)
• Generalist Forecasting with Frozen Video Models via Latent Diffusion [35.96406989431198]
  本稿では,視覚モデルの知覚能力と,短時間の地平線上での予測性能との間に強い相関関係を示す。 本研究は,映像理解のためのブリッジング表現学習と生成モデリングの価値を強調した。
  論文  参考訳（メタデータ） (2025-07-18T14:14:19Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。