論文の概要: Astronex-World 1.0: Real-Time Interactive World Model Foundation
- arxiv url: http://arxiv.org/abs/2609.20034v1
- Date: Thu, 17 Sep 2026 10:38:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.231593
- Title: Astronex-World 1.0: Real-Time Interactive World Model Foundation
- Title(参考訳): Astronex-World 1.0: リアルタイムインタラクティブワールドモデル財団
- Abstract要約: オープンな制御可能なビデオワールドモデル基盤であるAstronex-World 1.0について紹介する。
テキストプロンプト(テキスト・トゥ・ビデオ)や初期観察(イメージ・トゥ・ビデオ)を与えられたモデルは、フレーム整列カメラの軌跡の下で将来の視覚状態を予測する。
- 参考スコア(独自算出の注目度): 2.660415540961114
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present Astronex-World 1.0, an open controllable video world-model foundation. Given a text prompt (text-to-video) or an initial observation (image-to-video), the model predicts future visual states under frame-aligned camera trajectories, continuous actions, and an embodiment identifier, and accepts text events inserted at a specified position of a rollout. The family provides a bidirectional model for full-context generation and a causal model with block-causal attention and cross-block KV caching for persistent generation, both built on the Wan2.2-TI2V-5B prior. PRoPE injects camera intrinsics and extrinsics, while a 64-dimensional action stream modulates every Transformer layer. A five-stage training path develops bidirectional camera and action control, converts the backbone to block-causal generation, distills a few-step student, restores mixed-domain dynamics, and applies asymmetric DMD/DMD2 distribution matching. The causal model generates 832x480 video at 24 fps. All five training stages run on two NVIDIA L20 48 GB GPUs, and the causal model streams in real time on one. It scores 73.5 on WBench Navi and 70.0 on WBench Full. On Full, this 5B model is above the 13.6B LongCat-Video and the 14B Helios, within one point of the 22B LTX-2.3, and above YUME 1.5, which is post-trained from the same 5B prior on NVIDIA A100 GPUs. The reserved action input and output interfaces allow post-training for embodied intelligence and autonomous driving.
- Abstract(参考訳): オープンな制御可能なビデオワールドモデル基盤であるAstronex-World 1.0について紹介する。
テキストプロンプト(text-to-video)または初期観察(image-to-video)が与えられたモデルでは、フレーム整列カメラトラジェクトリ、連続アクション、エンボディメント識別子の下で将来の視覚状態を予測し、ロールアウトの特定の位置に挿入されたテキストイベントを受け入れる。
このファミリーは、フルコンテキスト生成のための双方向モデルと、Wan2.2-TI2V-5B 上に構築された、永続的な生成のためのブロック因果注意とクロスブロックKVキャッシュを備えた因果モデルを提供する。
PRoPEはカメラの内在と外在を注入し、64次元のアクションストリームはすべてのトランスフォーマー層を変調する。
5段階のトレーニングパスは、双方向カメラとアクションコントロールを開発し、バックボーンをブロック因果生成に変換し、数ステップの学生を蒸留し、混合ドメインダイナミクスを復元し、非対称DMD/DMD2分布マッチングを適用する。
因果モデルでは、24fpsで832x480のビデオを生成する。
5つのトレーニングステージはすべて、2つのNVIDIA L20 48 GB GPU上で実行され、因果モデルが1つでリアルタイムでストリームされる。
WBench Naviで73.5点、WBench Fullで70.0点を記録した。
フルでは、この5Bモデルは13.6B LongCat-Videoと14B Heliosを上回り、22B LTX-2.3の1ポイント内にあり、YUME 1.5はNVIDIA A100 GPUと同じ5Bから後からトレーニングされている。
予約された動作入力および出力インターフェースは、インテリジェンスと自律運転のための後トレーニングを可能にする。
関連論文リスト
- Physics-Grounded Fluid Video Generation with a Simulation Dataset and Dual-Stream Optical-Flow Supervision [78.04385989413382]
ビデオ拡散モデルは視覚的に魅力的な内容を生成するが、流体にまつわる基礎物理学に規則的に違反する。
我々は1,638MPMを模擬した注水/スロッシングビデオと2,320のキーワードフィルターによる実注水ビデオを組み合わせた物理シミュレーション流体データセットを構築した。
予め訓練された拡散フィルタビデオジェネレータ上に構築されたデュアルストリーム映像合成アーキテクチャを提案する。
論文 参考訳(メタデータ) (2026-07-28T06:13:18Z) - ABot-World-0: Infinite Interactive World Rollout on a Single Desktop GPU [41.37131555577374]
ABot-World-0は、リアルタイムで長時間のクローズドループインタラクションのためのアクション条件付きビデオワールドモデルである。
WorldExplorerは、トレーニングフィードバックによってガイドされたエージェント駆動のコレクションを実行する。
統一パイプラインは、14の決定論的品質チェック、VLMベースのアセスメント、同期アクションとテキストアノテーションを適用している。
論文 参考訳(メタデータ) (2026-07-21T15:26:50Z) - BiWM: Advancing Open-Source Interactive Video World Models with Bidirectional Autoregression [13.648620674803079]
双方向自己回帰パラダイムに基づくインタラクティブなビデオワールドモデルのための,最初のフルスタックフレームワークであるBiWMを紹介する。
トレーニング済みのビデオバックボーンから、BiWMは微調整でカメラコントロールを注入し、数ステップのDistributed Matching Distillationステージを走らせる。
1つのレシピは、Wan2.1-1.3B、Wan2.2-5B、HunyuanVideo-1.5-8B、LTX-2.3-22Bにまたがる。
論文 参考訳(メタデータ) (2026-06-08T20:08:41Z) - minWM: A Full-Stack Open-Source Framework for Real-Time Interactive Video World Models [51.45338589543413]
minWMはリアルタイムインタラクティブなビデオワールドモデルを構築するためのフルスタックのオープンソースフレームワークである。
minWMは既存の双方向T2V/TI2Vビデオ基盤モデルをカメラ制御可能な数ステップの自己回帰世界モデルに変換する。
論文 参考訳(メタデータ) (2026-05-28T17:27:03Z) - GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。
GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。
Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
論文 参考訳(メタデータ) (2026-05-20T21:36:44Z) - SANA-WM: Efficient Minute-Scale World Modeling with Hybrid Linear Diffusion Transformer [45.09089555026137]
SANA-WM(SANA-WM)は、1分間の高忠実度、720pの精密なカメラ制御で訓練された効率的なオープンソースワールドモデルである。
SANA-WMはLingBot-WorldやHY-WorldPlayのような大規模産業ベースラインに匹敵する視覚的品質を実現している。
論文 参考訳(メタデータ) (2026-05-14T17:58:03Z) - From Slow Bidirectional to Fast Autoregressive Video Diffusion Models [48.35054927704544]
現在のビデオ拡散モデルは、印象的な生成品質を実現するが、双方向の注意依存のため、インタラクティブなアプリケーションに苦戦する。
この制限には、事前訓練された双方向拡散変換器を自己回帰変換器に適応させ、フレームをオンザフライで生成することで対処する。
我々のモデルは、VBench-Longベンチマークで84.27点のスコアを達成し、以前のすべてのビデオ生成モデルを上回った。
論文 参考訳(メタデータ) (2024-12-10T18:59:50Z) - AID: Adapting Image2Video Diffusion Models for Instruction-guided Video Prediction [88.70116693750452]
テキスト誘導ビデオ予測(TVP)は、命令に従って、初期フレームから将来のフレームの動きを予測する。
従来のTVP方式では, 安定拡散法を応用して大きなブレークスルーを達成している。
我々は、初期フレームとテキスト命令に基づいて、将来のビデオ状態を予測するためのMLLM(Multi-Modal Large Language Model)を導入する。
論文 参考訳(メタデータ) (2024-06-10T17:02:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。