論文の概要: Holo-World: Unified Camera, Object and Weather Control for Video World Model

• arxiv url: http://arxiv.org/abs/2606.20083v2
• Date: Fri, 19 Jun 2026 16:34:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-23 13:41:31.029109
• Title: Holo-World: Unified Camera, Object and Weather Control for Video World Model
• Title（参考訳）: ホロワールド:ビデオワールドモデルのための統一カメラ、オブジェクト、気象制御
• Authors: Xiangchen Yin, Wenzhang Sun, Jiahui Yuan, Zijie Liu, Yinda Chen, Wei Li, Dachun Kai, Chunfeng Wang, Xiaoyan Sun,
• Abstract要約: 我々は,1フレームのソース・ツー・ステート・セッティングについて検討し,モデルが1つの画像から始まり,明示的なカメラとオブジェクト制御に従う。 本稿では,単一画像からシーンを共同制御する統合制御可能なビデオワールドモデルであるHolo-Worldを紹介する。
• 参考スコア（独自算出の注目度）: 17.474779665948404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video world models are moving toward preserving an observed world under controllable camera and object motion while allowing its environmental state to change. Yet these controls remain isolated, and weather generation typically relies on a source video or reconstructed scene that already specifies future structure. We study a first-frame-anchored source-to-state setting, where the model starts from a single image and follows explicit camera and object controls and an optional weather instruction, then generates a video that either preserves the source world or transfers it to a target weather state. To address these challenges, we first build HoloStateData, a state video dataset that turns diverse videos into unified control samples for camera, object, and weather supervision. Second, we introduce Holo-World, a unified controllable video world model that jointly controls scene from a single image. Its Unified Scene Adapter factorizes world preservation and weather transfer into distinct parameter subspaces, using rendered background, geometry buffers, and object controls to maintain controlled scene structure while modeling weather-dependent appearance and particle effects. Additionally, Scene-Weather Decomposed CFG guides scene and weather residuals separately, strengthening target weather effects without over-amplifying the full condition. Quantitative and qualitative experiments demonstrate that Holo-World maintains precise camera and object control with consistent scene structure while transferring scenes into diverse target weather state, outperforming video-to-video weather editing baselines on weather-state generation. Our project page is available at https://xiangchenyin.github.io/Holo-World/
• Abstract（参考訳）: ビデオワールドモデルは、コントロール可能なカメラと物体の動きの下で観察された世界を保存しつつ、環境状態を変えようとしている。 しかし、これらの制御は依然として孤立しており、天気生成は典型的には、既に将来の構造を規定しているソースビデオや再構成シーンに依存している。 本研究では,1フレームのソース・ツー・ステート・セッティング(ソース・ツー・ステート・セッティング)について検討し,モデルが単一画像から始まり,カメラとオブジェクトの明示的な制御とオプションの気象指示に従って,ソース・ワールドを保存するか,あるいはターゲットの気象状態に転送するビデオを生成する。 この課題に対処するために、私たちはまずHoloStateDataというステートビデオデータセットを構築しました。 第2に,単一画像からシーンを共同制御する統合制御可能なビデオワールドモデルであるHolo-Worldを紹介する。 Unified Scene Adapterは、環境に依存した外観と粒子効果をモデル化しながら制御されたシーン構造を維持するためにレンダリング背景、幾何バッファ、オブジェクトコントロールを使用して、世界保存と気象の異なるパラメータサブ空間への変換を分解する。 さらに、シーン・ウェザー分解CFGは、シーンと気象残差を別々にガイドし、フルコンディションを過度に増幅することなく、ターゲットの気象効果を強化する。 定量的および定性的な実験により、ホロワールドは、シーンを様々なターゲットの気象状態に移行しながら、正確なカメラとオブジェクトの制御を一貫したシーン構造で維持し、天気生成における映像と映像の天気編集のベースラインよりも優れていることが示された。 私たちのプロジェクトページはhttps://xiangchenyin.github.io/Holo-World/で公開されています。

関連論文リスト

• WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models [32.26032900976109]
  カメラナビゲーションからオブジェクトレベルのトラジェクトリアクションまで,インタラクティブなビデオワールドモデルを拡張するフレームワークであるWorldCraftを紹介する。 ユーザクリックとスケッチされたパスが与えられたら、WorldCraftは、選択したオブジェクトが所定の軌跡に従う将来のフレームを生成する。 実験により、WorldCraftは正確なオブジェクト制御を可能にし、カメラのみの評価の下でビデオベースのワールドモデルのカメラ忠実性を保ち、長期の自己回帰ロールアウトでオブジェクト状態を維持することが示されている。
  論文  参考訳（メタデータ） (2026-05-24T13:40:42Z)
• BulletTime: Decoupled Control of Time and Camera Pose for Video Generation [48.835425748367875]
  カメラポーズからシーンダイナミクスを明示的に分離する4D制御可能な映像拡散フレームワークを提案する。 本モデルは,多様なタイミングパターンとカメラ軌道をまたいだ実世界の4D制御を実現する。
  論文  参考訳（メタデータ） (2025-12-04T18:40:52Z)
• WeatherEdit: Controllable Weather Editing with 4D Gaussian Field [5.240297013713328]
  我々は3Dシーンで現実的な気象効果を生成するための新しい天気編集パイプラインであるWeatherEditを紹介する。 我々のアプローチは、気象背景編集と気象粒子構築という2つの重要な要素で構成されている。 複数の運転データセットの実験により、気象編集は制御可能な条件重大度で多様な気象効果を発生させることができることが示された。
  論文  参考訳（メタデータ） (2025-05-26T19:10:47Z)
• Controllable Weather Synthesis and Removal with Video Diffusion Models [61.56193902622901]
  WeatherWeaverは、様々な気象効果を直接入力ビデオに合成するビデオ拡散モデルである。 本モデルは,気象効果の強度を正確に制御し,様々な気象タイプをブレンドし,現実主義と適応性の両方を保証する。
  論文  参考訳（メタデータ） (2025-05-01T17:59:57Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  制御ネットライクなコンディショニング機構を用いて3次元カメラ制御のためのトランスフォーマー映像の改ざん方法を示す。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。