論文の概要: MUGEN: Interactive Panoramic World Exploration via Camera Control
- arxiv url: http://arxiv.org/abs/2609.38077v1
- Date: Tue, 29 Sep 2026 17:36:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.79107
- Title: MUGEN: Interactive Panoramic World Exploration via Camera Control
- Title(参考訳): MUGEN:カメラ制御によるパノラマ世界探査
- Abstract要約: インタラクティブなパノラマビデオ生成は、探索中にユーザーが指定したカメラ軌跡に従いながら、視覚的にコヒーレントな没入型360度ビデオを合成することを目的としている。
既存のパノラマビデオデータセットは、しばしば短い、弱い注釈付き、カメラの軌跡がない。
これらの制約に対処するためにMUGENとWan360を導入する。
- 参考スコア(独自算出の注目度): 40.13753309848311
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Interactive panoramic video generation aims to synthesize immersive 360\textdegree{} videos that remain visually coherent while following user-specified camera trajectories during exploration. However, progress is limited by a coupled data-and-model gap: existing panoramic video datasets are often short, weakly annotated, or lack camera trajectories, while existing camera-controlled video generation models are designed for perspective videos and do not directly support panoramic geometry. In this paper, we introduce MUGEN and Wan360 to address these limitations. MUGEN is a large-scale real-world panoramic video dataset tailored to interactive 360-degree world exploration, comprising over 1,300 hours of at least 4K panoramic videos with rich semantic and geometric annotations. Built on MUGEN, we further present Wan360, a camera-controllable interactive panoramic video generation model. Panoramic videos are commonly represented by EquiRectangular Projection (ERP), which unfolds a spherical 360-degree view into a rectangular frame with cyclic longitude seams and pole distortions. To this end, Wan360 introduces three parameter-free ERP-aware components: periodic longitude RoPE for seam-consistent positional encoding, ERP-aware padding for reducing boundary artifacts, and random roll yaw for consistent learning. For camera control, Wan360 uses a panoramic Plücker embedding that represents camera motion with ERP rays rather than perspective pinhole rays. Experiments show that MUGEN serves as a data foundation for panoramic world exploration, and that Wan360 enables high-quality, temporally coherent, camera-controllable 360-degree video generation.
- Abstract(参考訳): インタラクティブなパノラマビデオ生成は、探索中にユーザーが指定したカメラ軌跡に従いながら、視覚的にコヒーレントな没入型360\textdegree{}ビデオを合成することを目的としている。
既存のパノラマビデオデータセットはショート、弱アノテーション、カメラトラジェクトリの欠如、既存のカメラ制御ビデオ生成モデルは視点ビデオ用に設計されており、パノラマ幾何学を直接サポートしていない。
本稿では,これらの制約に対処するためにMUGENとWan360を紹介する。
MUGENは、インタラクティブな360度世界探査に適した、大規模な現実世界のパノラマビデオデータセットである。
MUGEN上に構築されたWan360は、カメラ制御可能なインタラクティブパノラマビデオ生成モデルである。
パノラマビデオは一般に、球面の360度ビューを円形の経度線と極歪みのある長方形のフレームに広げるEquiRectular Projection (ERP)によって表現される。
この目的のために、Wan360は、シーム一貫性のある位置符号化のための周期的経度RoPE、境界アーチファクトを減らすERP対応パディング、一貫した学習のためのランダムロールヨーの3つのパラメータフリーERP対応コンポーネントを導入した。
カメラ制御のために、Wan360はパノラマ・プリュッカーの埋め込みを使用しており、視点のピンホール線ではなくERP線でカメラの動きを表現している。
実験により、MUGENはパノラマ世界探査のためのデータ基盤として機能し、Wan360は高品質で時間的に整合した360度ビデオ生成を可能にすることが示された。
関連論文リスト
- AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video [34.83810293078634]
本稿では、パノラマ世界の発展を視点から切り離す、カメラ制御可能なストリーミングビデオワールドモデルであるAlayaVistaを紹介する。
効率的なストリーミングを支援するため,パノラマ生成装置をチャンク自己回帰生成に適用し,パノラマ生成と視点改善の両方を少数の工程に蒸留する。
MUGENは,少なくとも4Kの解像度で1,318時間の動画を収録した大規模パノラマ映像データセットである。
論文 参考訳(メタデータ) (2026-09-13T12:13:51Z) - Pantheon360: Taming Digital Twin Generation via 3D-Aware 360° Video Diffusion [28.780606702499444]
3D-Aware 360 Video DiffusionによるPantheon360: Taming Digital Twin Generationを紹介する。
キーとなるアイデアは、ユーザが定義した任意のカメラパスの幾何学的な足場として機能する、入力から再構築された明示的な3Dキャッシュである。
実験により、パンテオン360は優れた視覚的品質と未整合幾何学的コヒーレンスを達成することが示された。
論文 参考訳(メタデータ) (2026-05-25T06:00:01Z) - 360Anything: Geometry-Free Lifting of Images and Videos to 360° [51.50120114305155]
既存のアプローチは、パースペクティブと等方射影空間の間の明示的な幾何学的アライメントに依存している。
事前学習した拡散変換器上に構築された幾何学的自由度フレームワークである360Anythingを提案する。
提案手法は,映像と映像の視点-360生成における最先端性能を実現する。
論文 参考訳(メタデータ) (2026-01-22T18:45:59Z) - PanoWorld-X: Generating Explorable Panoramic Worlds via Sphere-Aware Video Diffusion [87.13016347332943]
PanoWorld-Xは、多彩なカメラ軌道を持つ高忠実で制御可能なパノラマビデオ生成のための新しいフレームワークである。
動作範囲,制御精度,視覚的品質など,様々な面で優れた性能を示す実験を行った。
論文 参考訳(メタデータ) (2025-09-29T16:22:00Z) - Beyond the Frame: Generating 360° Panoramic Videos from Perspective Videos [64.10180665546237]
360degのビデオは、私たちの周囲のより完全な視点を提供する。
既存のビデオモデルは、標準的なビデオを作るのに優れているが、完全なパノラマビデオを生成する能力は、まだ明らかになっていない。
高品質なデータフィルタリングパイプラインを開発し、双方向のトレーニングデータをキュレートし、360度ビデオ生成の品質を向上させる。
実験結果から,本モデルでは実写的でコヒーレントな360デグ映像を撮影できることが示された。
論文 参考訳(メタデータ) (2025-04-10T17:51:38Z) - DiffPano: Scalable and Consistent Text to Panorama Generation with Spherical Epipolar-Aware Diffusion [60.45000652592418]
本稿では,テキスト駆動型パノラマ生成フレームワークDiffPanoを提案し,拡張性,一貫性,多様なパノラマシーン生成を実現する。
DiffPanoは、不明瞭なテキスト記述とカメラのポーズによって、一貫した多様なパノラマ画像を生成することができることを示す。
論文 参考訳(メタデータ) (2024-10-31T17:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。