論文の概要: ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation
- arxiv url: http://arxiv.org/abs/2609.21712v2
- Date: Tue, 22 Sep 2026 08:09:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.860386
- Title: ZYT-World: A Real-Time Controllable World Model for Closed-Loop Autonomous-Driving Simulation
- Title(参考訳): ZYT-World: クローズドループ自動運転シミュレーションのためのリアルタイム制御可能な世界モデル
- Abstract要約: ZYT-Worldは、視野 > 180 の4つの魚眼ビューと3つのピンホールビューを生成する単一のアーキテクチャである。
推論エンジンはデコード、バックボーン、インクリメンタル実行コストを削減します。
内部の多視点テストセットでは、ワンステップモデルは教師のPSNRとSSIMの90%以上を保持する。
- 参考スコア(独自算出の注目度): 33.667474697714255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative world models offer controllable and repeatable closed-loop simulation for end-to-end and vision-language-action driving policies, but production deployment exposes three unresolved requirements: faithfully reproducing a mixed fisheye-pinhole rig at native resolutions; reconciling causal, per-timestep interaction with long-horizon stability and low latency; and preserving scene identity when a location is revisited. We present ZYT-World, a single architecture that natively generates four fisheye views with field of view > 180° and three pinhole views. Projection-specific Plucker adapters encode camera geometry, ego-motion adaptive layer normalization provides global motion control, and a lightweight pixel-aligned layout conditions traffic participants and signals through instance-level boxes, headings and colors. Heterogeneous training combines full-rig geometric coverage with high-resolution detail. Teacher forcing, causal consistency distillation, self-rollout distribution matching distillation, and RigCritic transform a 40-step bidirectional teacher into a one-step, per-latent streaming generator, with RigCritic evaluating the seven-view rig jointly. A 19M-parameter variational autoencoder decoder (TinyVAE), W8A8 quantization, and our inference engine reduce decoding, backbone, and incremental-execution costs, respectively. Finally, cross-trajectory pairs derived from real captures train a plug-in implicit-memory module that preserves place-specific evidence. On the internal multi-view test set, the one-step model retains more than 90% of the teacher's PSNR and SSIM, while FID, FVD, and LPIPS stay within 11% of the teacher. Under the generator-only timing in Figure 2, it is 107.7 times faster than the 40-step bidirectional teacher. TinyVAE decodes 59.8 times faster than Wan. 30s rollouts and cross-trajectory revisits show the intended long-horizon and memory behavior.
- Abstract(参考訳): 生成的世界モデルは、エンドツーエンドおよびビジョン言語対応の運転ポリシーに対して、制御可能かつ繰り返し可能なクローズループシミュレーションを提供するが、プロダクションデプロイメントは、3つの未解決の要件を公開する。
ZYT-Worldは、4つの魚眼ビューを自然に生成し、180°の視野と3つのピンホールビューを提供する。
プロジェクション固有のPluckerアダプタは、カメラ幾何学をエンコードし、エゴモーション適応層正規化は、グローバルなモーションコントロールを提供し、軽量なピクセルアラインレイアウト条件は、インスタンスレベルのボックス、方向、色を通して、参加者と信号にトラフィックを与える。
不均一なトレーニングは、完全な幾何学的カバレッジと高解像度の詳細を組み合わせる。
教師の強制、因果一貫性蒸留、自己ロールアウト分布マッチング蒸留、およびRigCriticは40ステップの双方向教師を1ステップずつのストリーミングジェネレータに変換し、RigCriticは7ビューリグを共同で評価する。
19Mパラメータ可変オートエンコーダデコーダ (TinyVAE), W8A8量子化, 推論エンジンは, それぞれデコード, バックボーン, インクリメンタル実行コストを削減した。
最後に、実際のキャプチャから派生したクロストラジェクトリペアは、場所固有のエビデンスを保存するプラグイン暗黙のメモリモジュールを訓練する。
内部の多視点テストセットでは、ワンステップモデルは教師のPSNRとSSIMの90%以上を保持し、FID、FVD、LPIPSは教師の11%以内に留まる。
図2のジェネレータのみのタイミングでは、40ステップの双方向の教師より107.7倍速い。
TinyVAEはWanの59.8倍の速度でデコードする。
30sロールアウトとクロストラックリビジョンは、意図したロングホライゾンとメモリの振る舞いを示している。
関連論文リスト
- ABot-World-0: Infinite Interactive World Rollout on a Single Desktop GPU [41.37131555577374]
ABot-World-0は、リアルタイムで長時間のクローズドループインタラクションのためのアクション条件付きビデオワールドモデルである。
WorldExplorerは、トレーニングフィードバックによってガイドされたエージェント駆動のコレクションを実行する。
統一パイプラインは、14の決定論的品質チェック、VLMベースのアセスメント、同期アクションとテキストアノテーションを適用している。
論文 参考訳(メタデータ) (2026-07-21T15:26:50Z) - SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer [45.09089555026137]
SANA-WM(SANA-WM)は、1分間の高忠実度、720pの精密なカメラ制御で訓練された効率的なオープンソースワールドモデルである。
SANA-WMはLingBot-WorldやHY-WorldPlayのような大規模産業ベースラインに匹敵する視覚的品質を実現している。
論文 参考訳(メタデータ) (2026-05-14T17:58:03Z) - Bench2Drive-R: Turning Real World Data into Reactive Closed-Loop Autonomous Driving Benchmark by Generative Model [63.336123527432136]
我々は,リアクティブ閉ループ評価を可能にする生成フレームワークであるBench2Drive-Rを紹介する。
既存の自動運転用ビデオ生成モデルとは異なり、提案された設計はインタラクティブなシミュレーションに適したものである。
我々は、Bench2Drive-Rの生成品質を既存の生成モデルと比較し、最先端の性能を達成する。
論文 参考訳(メタデータ) (2024-12-11T06:35:18Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳(メタデータ) (2024-12-10T18:59:50Z) - Seeing Beyond Views: Multi-View Driving Scene Video Generation with Holistic Attention [61.3281618482513]
高品質なマルチビュー駆動ビデオの合成を目的とした,新しいネットワークであるCogDrivingについて紹介する。
CogDriving は Diffusion Transformer アーキテクチャと holistic-4D attention module を活用し、次元間の同時結合を可能にする。
CogDrivingは、nuScenesバリデーションセットで強力なパフォーマンスを示し、FVDスコア37.8を達成し、リアルなドライビングビデオを生成する能力を強調している。
論文 参考訳(メタデータ) (2024-12-04T18:02:49Z) - DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation [10.296670127024045]
DriveScapeは、マルチビュー、3D条件付きビデオ生成のためのエンドツーエンドフレームワークである。
我々のBi-Directional Modulated Transformer (BiMot)は3次元構造情報の正確なアライメントを保証する。
DriveScapeはビデオ生成性能に優れ、FIDスコア8.34、FVDスコア76.39でnuScenesデータセットの最先端結果を達成する。
論文 参考訳(メタデータ) (2024-09-09T09:43:17Z) - Uniformer: Unified Transformer for Efficient Spatiotemporal
Representation Learning [68.55487598401788]
この研究の最近の進歩は、主に3D畳み込みニューラルネットワークと視覚変換器によって推進されている。
本稿では3次元畳み込み自己注意の利点を簡潔なトランスフォーマー形式にシームレスに統合する新しいUnified TransFormer(UniFormer)を提案する。
我々は、Kineetics-400、Kineetics-600、Something V1&V2といった人気ビデオベンチマークで広範な実験を行っている。
我々の UniFormer は Kinetics-400/Kinetics-600 で 8/84.8% のトップ-1 の精度を実現している。
論文 参考訳(メタデータ) (2022-01-12T20:02:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。