論文の概要: WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2610.31640v1
- Date: Thu, 22 Oct 2026 17:53:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.507575
- Title: WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models
- Title(参考訳): WorldForge V2:ビデオ拡散モデルにおけるカメラトラジェクトリアライメントの回避
- Abstract要約: ビデオ拡散モデルはリッチな3D/4Dプリエントを学習し、シーン生成とビデオ再レンダリングを約束している。
タスク固有の微調整や後処理のワープといった既存のアプローチでは、視覚的なアーティファクトを導入したり、一般化が不十分だったり、計算コストが高かったりすることが多い。
我々は,事前学習ビデオモデルの生成能力を保ちながら,正確なカメラ制御を実現するためにWorldForge V2を提案する。
- 参考スコア(独自算出の注目度): 53.2667526966898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video diffusion models have learned rich 3D/4D priors, making them promising for scene generation and video re-rendering. However, their use in spatial tasks is limited by imprecise camera control, spatial and temporal inconsistencies, and entangled camera motion with scene dynamics. Existing approaches, such as task-specific fine-tuning and post-process warping, often introduce visual artifacts, generalize poorly, or incur high computational costs. We propose WorldForge V2 to achieve accurate camera control while preserving the generative capabilities of pretrained video models. We first develop a training-free guidance framework using warped references to iteratively refine generation along a target camera path. Optical-flow analysis identifies motion-related latent channels for selective guidance, helping separate motion control from appearance. A dual-path strategy further compares guided and unguided predictions to correct artifacts from imperfect references. Together, these components guide viewpoint changes while preserving scene appearance and object motion. To reduce refinement costs, v-cache approximates the correction using the preceding denoising prediction, avoiding an additional model evaluation. We further extend motion localization from latent channels to network blocks and introduce Trajectory LoRA, which concentrates adaptation on blocks most responsive to trajectory guidance. A two-stage training strategy teaches these adapters to denoise the states encountered during guided generation, using limited supervision effectively. This enables reliable camera control with very little training data, with a single training scene already supporting generalization to unseen scenes. Quantitative and qualitative evaluations across multiple datasets show that our method achieves state-of-the-art generation quality and trajectory accuracy in camera-controlled video generation.
- Abstract(参考訳): ビデオ拡散モデルはリッチな3D/4Dプリエントを学習し、シーン生成とビデオ再レンダリングを約束している。
しかし、空間的タスクにおけるそれらの使用は、不正確なカメラ制御、空間的および時間的不整合、シーンダイナミックスとの絡み合ったカメラモーションによって制限される。
タスク固有の微調整や後処理のワープといった既存のアプローチでは、視覚的なアーティファクトを導入したり、一般化が不十分だったり、計算コストが高かったりすることが多い。
我々は,事前学習ビデオモデルの生成能力を保ちながら,正確なカメラ制御を実現するためにWorldForge V2を提案する。
我々はまず,目標カメラパスに沿って反復的精細化のためのワープ参照を用いたトレーニングフリーガイダンスフレームワークを開発する。
光フロー解析は、選択的誘導のための動き関連潜伏チャネルを特定し、外見から運動制御を分離するのに役立つ。
デュアルパス戦略は、ガイド付きとガイドなしの予測を、不完全な参照からアーティファクトを修正するために比較する。
これらのコンポーネントは、シーンの外観とオブジェクトの動きを保存しながら、視点の変化をガイドする。
改良コストを低減するため、v-cacheは、追加のモデル評価を回避し、前回の復調予測を用いて補正を近似する。
我々はさらに、潜在チャネルからネットワークブロックへの移動ローカライゼーションを拡張し、トラジェクトリ・ロラを導入し、トラジェクトリ・ガイダンスに最も反応するブロックへの適応に集中する。
2段階のトレーニング戦略では、これらのアダプタがガイド付き世代で遭遇した状態を識別し、限定的な監督を効果的に行うように教えている。
これにより、非常に少ないトレーニングデータで信頼性の高いカメラコントロールが可能になる。
複数のデータセットにまたがる定量的・定性的な評価は,カメラ制御ビデオ生成における最先端の生成品質と軌道精度を実現することを示す。
関連論文リスト
- PartiCam: Camera Controlled Video Generation with Reward Guidance [60.77484725687859]
PartiCamは、カメラ制御ビデオ生成を改善するためのトレーニング不要なパーティクルフィルタリングルート方式である。
本手法は,Sequential Monte-Carloガイダンスに基づいて構築されるが,粒子フィルタ再サンプリングに基づく局所的な改良段階を導入する。
実験では、モデル再訓練を必要とせず、カメラの軌道付着性、ドリフトの低減、視覚的品質の向上が見られた。
論文 参考訳(メタデータ) (2026-09-30T11:05:58Z) - GeoStream: Toward Precise Camera Controlled Streaming Video Generation [85.01823220801256]
既存のアプローチはカメラの動きを暗黙的に学習し、アウト・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。
厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的である。
自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。
論文 参考訳(メタデータ) (2026-06-13T07:18:04Z) - Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-22T17:59:43Z) - Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video [19.675672131137382]
本稿では,カメラによるワープをカメラワープした擬似歴史に変換するシンプルなインタフェースを提案する。
我々は,その位置エンコーディングと対象フレームの識別とを整合させ,正確な情報源観測を行なわずに歪んだ歴史トークンを除去する。
本手法は,テスト時間最適化やターゲット映像適応を伴わずに,カメラの付着性,視覚的品質,動きのダイナミクスを改善する。
論文 参考訳(メタデータ) (2026-05-14T17:58:26Z) - Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。
1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
論文 参考訳(メタデータ) (2025-12-18T20:03:05Z) - SG-I2V: Self-Guided Trajectory Control in Image-to-Video Generation [22.693060144042196]
画像からビデオへ生成する方法は、印象的な、写真リアリスティックな品質を実現した。
オブジェクトの動きやカメラの動きなど、生成されたビデオの特定の要素を調整することは、しばしば試行錯誤の面倒なプロセスである。
最近の技術は、事前訓練されたモデルを微調整することでこの問題に対処している。
本稿では,自己誘導画像生成のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2024-11-07T18:56:11Z) - Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。
イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
論文 参考訳(メタデータ) (2024-06-21T17:55:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。