論文の概要: AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
- arxiv url: http://arxiv.org/abs/2609.14462v1
- Date: Sun, 13 Sep 2026 12:13:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.81847
- Title: AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video
- Title（参考訳）: AlayaVista:パノラマからパースペクティブビデオまでの世界モデリング
- Abstract要約: 本稿では、パノラマ世界の発展を視点から切り離す、カメラ制御可能なストリーミングビデオワールドモデルであるAlayaVistaを紹介する。
効率的なストリーミングを支援するため,パノラマ生成装置をチャンク自己回帰生成に適用し,パノラマ生成と視点改善の両方を少数の工程に蒸留する。
MUGENは,少なくとも4Kの解像度で1,318時間の動画を収録した大規模パノラマ映像データセットである。
- 参考スコア（独自算出の注目度）: 34.83810293078634
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Interactive video world models must maintain broad scene context under camera motion while producing high-fidelity observations with low latency. Existing approaches face a representation trade-off: perspective models operate on local views and must preserve off-screen content over long rollouts, whereas broader spatial coverage is typically obtained by synthesizing full-sphere videos or constructing explicit 3D representations. Motivated by the complementary roles of global context and selective local acuity in visual perception, we present AlayaVista, a camera-controllable streaming video world model that decouples panoramic world evolution from perspective observation synthesis. Given a single perspective image, AlayaVista constructs a 360-degree scene prior using a pretrained panorama expansion model and then evolves the scene as a camera-conditioned panoramic latent state. A latent viewport renderer maps this state to the requested perspective video latents, while a perspective refiner restores details, suppresses artifacts, and performs super-resolution. To support efficient streaming, we adapt the panoramic generator to chunk-autoregressive generation and distill both panoramic generation and perspective refinement into few-step processes. To provide the supervision required by this design, we construct MUGEN, a large-scale real-world panoramic video dataset containing 1,318 hours of videos at resolutions of at least 4K, together with rich semantic and geometric annotations.
- Abstract（参考訳）: インタラクティブなビデオワールドモデルは、低レイテンシで高忠実度観測を行いながら、カメラモーションの下で広いシーンコンテキストを維持する必要がある。
パースペクティブモデルがローカルビューで動作し、長いロールアウトでオフスクリーンコンテンツを保存しなければならないのに対して、より広い空間カバレッジは、フルスフィアビデオの合成や明示的な3D表現の構築によって得られるのが一般的である。
本研究では,パノラマ世界の発展を視線から切り離すカメラ制御型ストリーミング・ビデオ・ワールド・モデルであるAlayaVistaを提案する。
単一の視点像が与えられた場合、アラヤビスタは事前訓練されたパノラマ展開モデルを用いて360度シーンを構築し、その後、カメラコンディショニングされたパノラマ潜伏状態としてシーンを進化させる。
遅延ビューポートレンダラは、この状態を要求された視点ビデオレイトにマッピングし、パースペクティブリファインダは詳細を復元し、アーティファクトを抑圧し、超解像度を実行する。
効率的なストリーミングを支援するため,パノラマ生成装置をチャンク自己回帰生成に適用し,パノラマ生成と視点改善の両方を少数の工程に蒸留する。
この設計で要求される監督のために,少なくとも4Kの解像度で1,318時間の動画を含む大規模実世界のパノラマビデオデータセットMUGENと,リッチな意味的および幾何学的アノテーションを構築した。
関連論文リスト
- Pano2World: End-to-End 3D Generation via Unified Multi-View Sequences [9.89397063309918]
パノ2ワールドは屋内パノラマを入力とし、永続的で探索可能な3Dガウスのシーンを直接出力する。
実験により、Pano2Worldは、マルチポジションパノラマノビュー合成ベンチマークにおいて、既存の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2026-07-01T11:54:02Z) - OmniRoam: World Wandering via Long-Horizon Panoramic Video Generation [42.159343032593014]
制御可能なパノラマビデオ生成フレームワークであるOmniRoamを提案する。
本フレームワークは,パノラマ表現の長期的・時間的一貫性と,フレーム単位のシーンのリッチなカバレッジを活用している。
実験により、我々のフレームワークは、視覚的品質、制御可能性、長期的なシーンの一貫性の観点から、常に最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2026-03-31T17:59:33Z) - Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas [101.58587238272462]
テキスト駆動型没入型3Dシーン合成のための統合フレームワークであるStepperを提案する。
Stepperは新しい大規模なマルチビューパノラマデータセットでトレーニングされている。
最先端の忠実さと構造的な一貫性を実現し、以前のアプローチよりも優れています。
論文 参考訳（メタデータ） (2026-03-30T20:26:28Z) - PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion [87.13016347332943]
PanoWorld-Xは、多彩なカメラ軌道を持つ高忠実で制御可能なパノラマビデオ生成のための新しいフレームワークである。
動作範囲,制御精度,視覚的品質など,様々な面で優れた性能を示す実験を行った。
論文 参考訳（メタデータ） (2025-09-29T16:22:00Z) - TiP4GEN: Text to Immersive Panorama 4D Scene Generation [82.8444414014506]
TiP4GENはテキストから動的パノラマシーン生成フレームワークである。
微粒なコンテンツ制御を可能にし、動きに富んだ幾何学的なパノラマ4Dシーンを合成する。
TiP4GENはパノラマビデオ生成と動的シーン再構成を統合し、360度没入型仮想環境を作成する。
論文 参考訳（メタデータ） (2025-08-17T16:02:24Z) - ViewPoint: Panoramic Video Generation with Pretrained Diffusion Models [52.87334248847314]
本研究では,パノラマ映像の生成に事前学習した視点映像モデルを用いた新しいフレームワークを提案する。
具体的には,世界空間の連続性と細かな視覚的詳細を同時に持つビューポイントマップという新しいパノラマ表現を設計する。
提案手法は,パノラマ映像を高度にダイナミックかつ空間的に一貫したパノラマ映像を合成し,最先端の性能を達成し,従来の手法を超越することができる。
論文 参考訳（メタデータ） (2025-06-30T04:33:34Z) - PanoWan: Lifting Diffusion Video Generation Models to 360° with Latitude/Longitude-aware Mechanisms [41.92179513409301]
既存のパノラマビデオ生成モデルは、高品質なパノラマビデオのための従来のテキスト・ツー・ビデオ・モデルから事前訓練された生成先を活用するのに苦労している。
本稿では,パノラマ領域に最小限のモジュールを備えた事前学習されたテキスト・ビデオ・モデルを効果的に持ち上げるパノラマモデルを提案する。
これらの揚力表現を学習するためのパノラマビデオを提供するため、キャプションと多様なシナリオを備えた高品質なパノラマビデオデータセットであるPanoVidをコントリビュートする。
論文 参考訳（メタデータ） (2025-05-28T06:24:21Z) - Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos [64.10180665546237]
360degのビデオは、私たちの周囲のより完全な視点を提供する。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、完全なパノラマビデオを生成する能力は、まだ明らかになっていない。
高品質なデータフィルタリングパイプラインを開発し、双方向のトレーニングデータをキュレートし、360度ビデオ生成の品質を向上させる。
実験結果から,本モデルでは実写的でコヒーレントな360デグ映像を撮影できることが示された。
論文 参考訳（メタデータ） (2025-04-10T17:51:38Z) - ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis [63.169364481672915]
単一またはスパース画像からジェネリックシーンの高忠実な新規ビューを合成する新しい方法である textbfViewCrafter を提案する。
提案手法は,映像拡散モデルの強力な生成能力と,ポイントベース表現によって提供される粗い3D手がかりを利用して高品質な映像フレームを生成する。
論文 参考訳（メタデータ） (2024-09-03T16:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。