論文の概要: CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting
- arxiv url: http://arxiv.org/abs/2608.07693v1
- Date: Fri, 07 Aug 2026 18:34:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.477639
- Title: CosmosAlign: Adapting a World Foundation Model for Generative Traffic Video Forecasting
- Title（参考訳）: CosmosAlign: 生成するトラフィックビデオの予測にワールドファンデーションモデルを適用する
- Abstract要約: 本研究では,事前に訓練されたコスモス3-ナノ世界基盤モデルに基づく交通映像予測フレームワークを提案する。
我々のアプローチは、大規模な事前学習された世界モデルを下流予測タスクにうまく適応させることが、主に分布アライメントに依存するという観察に動機付けられている。
CosmosAlignは、AI City Challenge 2026 Track 5ベンチマークで76.49の最終的なスコアを獲得し、最終リーダーボードで第1位となった。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Generative traffic video forecasting aims to synthesize long-horizon, temporally coherent future videos of traffic scenes from a short observation history and textual descriptions. In this paper, we present CosmosAlign, a generative traffic video forecasting framework built upon the pretrained Cosmos3-Nano world foundation model. Our approach is motivated by the observation that successfully adapting large pretrained world models to downstream forecasting tasks depends primarily on distribution alignment rather than increased model capacity. To this end, we propose a two-stage LoRA adaptation strategy that first aligns the conditioning-mode distribution with the target forecasting task, and then aligns the training captions with the model's native structured prompting interface through an LLM-based re-captioning pipeline. During inference, we further improve prediction quality using a fully training-free procedure consisting of consensus-based medoid sample selection and motion-adaptive blending of static scene regions. CosmosAlign achieves a final score of 76.49 on the AI City Challenge 2026 Track 5 benchmark, ranking first on the final leaderboard. Our code is publicly available at https://quangminhdinh.github.io/CosmosAlign/.
- Abstract（参考訳）: 生成的な交通映像予測は、短い観察履歴とテキストによる記述から、交通シーンの長期的・時間的コヒーレントな将来の映像を合成することを目的としている。
本稿では,事前に訓練されたコスモス3-ナノ世界基盤モデルに基づいて構築された交通映像予測フレームワークであるCosmosAlignを紹介する。
我々のアプローチは、大規模な事前学習された世界モデルを下流予測タスクにうまく適応させることが、主にモデル容量の増加よりも分布アライメントに依存するという観察に動機付けられている。
そこで本研究では,まず条件付きモード分布を目標予測タスクと整列する2段階のLoRA適応戦略を提案し,次にLLMベースの再カプセル化パイプラインを通じて,モデルのネイティブな構造化プロンプトインタフェースとトレーニングキャプションを整列する。
提案手法は,コンセンサスに基づくメドイドサンプル選択と静的シーン領域の動作適応ブレンディングからなる完全トレーニング不要な手法を用いて,予測品質をさらに向上する。
CosmosAlignは、AI City Challenge 2026 Track 5ベンチマークで76.49の最終的なスコアを獲得し、最終リーダーボードで第1位となった。
私たちのコードはhttps://quangminhdinh.github.io/CosmosAlign/で公開されています。
関連論文リスト
- ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model [53.15040805435013]
視覚言語モデル(VLM)は、一様にサンプリングされたフレームを解析することで、強力なセマンティックグラウンドと一般的な知識を提供する。
本稿では,高密度フレーム・ダイナミックス・モデリングと長軸意味指導を組み合わせたVLM誘導型JEPA型潜在世界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-23T17:59:42Z) - Open-World Motion Forecasting [15.508091258980143]
モーション予測は、シーン内のダイナミックエージェントの将来の軌跡を予測することを目的としており、自動運転車がシーンの進化について推論できるようにする。
既存のアプローチはクローズドワールド体制の下で動作し、固定オブジェクト分類と高品質な知覚へのアクセスを仮定する。
我々は,時間とともに新しいオブジェクトクラスを順次導入し,将来的なオブジェクトの軌跡をカメラ画像から直接推定する,オープンワールドモーション予測を導入する。
論文 参考訳（メタデータ） (2026-03-10T09:35:08Z) - Vision-LLMs for Spatiotemporal Traffic Forecasting [14.700408329373998]
大規模言語モデル(LLM)は、グリッドベースのトラフィックデータの複雑な空間的依存関係をモデル化するのに本質的に苦労する。
本稿では,視覚言語融合問題として時間的予測を行う新しいフレームワークであるST-Vision-LLMを提案する。
また,ST-Vision-LLMでは,長期予測精度が15.6%向上し,クロスドメインシナリオでは30.04%以上向上した。
論文 参考訳（メタデータ） (2025-10-13T11:15:56Z) - Back to the Features: DINO as a Foundation for Video World Models [29.116268020812072]
我々は、DINOv2の潜在空間における将来のフレームを予測するために訓練された、強力なジェネラリストビデオワールドモデルであるDINO-worldを紹介する。
トレーニング済みの画像エンコーダを活用して、大規模未処理ビデオデータセット上で将来の予測器をトレーニングすることにより、DINO-worldは多様なシーンの時間的ダイナミクスを学習する。
論文 参考訳（メタデータ） (2025-07-25T17:54:10Z) - Epona: Autoregressive Diffusion World Model for Autonomous Driving [39.389981627403316]
既存のビデオ拡散モデルは、柔軟で長い水平予測と軌道計画の統合に苦慮している。
これは、従来のビデオ拡散モデルは固定長フレーム列のグローバルな共同分布モデルに依存しているためである。
本研究では,局所分布モデリングが可能な自己回帰的世界モデルであるEponaを提案する。
論文 参考訳（メタデータ） (2025-06-30T17:56:35Z) - OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。
OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。
最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文 参考訳（メタデータ） (2024-09-14T07:44:22Z) - AdaOcc: Adaptive Forward View Transformation and Flow Modeling for 3D Occupancy and Flow Prediction [56.72301849123049]
CVPR 2024 における nuScenes Open-Occ データセットチャレンジにおいて,視覚中心の3次元活動とフロー予測トラックのソリューションを提案する。
我々の革新的なアプローチは、適応的なフォワード・ビュー・トランスフォーメーションとフロー・モデリングを取り入れることで、3次元の占有率とフロー予測を向上させる2段階のフレームワークである。
提案手法は回帰と分類を組み合わせることで,様々な場面におけるスケールの変動に対処し,予測フローを利用して将来のフレームに現行のボクセル特徴をワープする。
論文 参考訳（メタデータ） (2024-07-01T16:32:15Z) - Valeo4Cast: A Modular Approach to End-to-End Forecasting [93.86257326005726]
我々のソリューションはArgoverse 2 end-to-end Forecasting Challengeで63.82 mAPfでランクインした。
私たちは、知覚から予測までエンドツーエンドのトレーニングを通じて、このタスクに取り組む現在のトレンドから離れ、代わりにモジュラーアプローチを使用します。
私たちは、昨年の優勝者より+17.1ポイント、今年の優勝者より+13.3ポイント、予測結果を+17.1ポイント上回る。
論文 参考訳（メタデータ） (2024-06-12T11:50:51Z) - Skeleton2vec: A Self-supervised Learning Framework with Contextualized
Target Representations for Skeleton Sequence [56.092059713922744]
予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。
具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。
提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
論文 参考訳（メタデータ） (2024-01-01T12:08:35Z) - Understanding Road Layout from Videos as a Whole [82.30800791500869]
我々はこれをトップビューの道路属性予測問題として定式化し、その目的は各フレームの属性を正確かつ一貫して予測することである。
我々は、ビデオにおけるカメラモーションの活用と、長期ビデオ情報の導入という3つの新しい側面を生かした。
論文 参考訳（メタデータ） (2020-07-02T00:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。