論文の概要: Hierarchical Diffusion for Camera-controlled Autoregressive Video Generation
- arxiv url: http://arxiv.org/abs/2610.37983v1
- Date: Tue, 27 Oct 2026 21:28:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-03 19:08:26.145528
- Title: Hierarchical Diffusion for Camera-controlled Autoregressive Video Generation
- Title(参考訳): カメラ制御自己回帰ビデオ生成のための階層拡散
- Abstract要約: 自己回帰生成(WanAR)と階層長文復調(FixAR)を組み合わせたフレームワークを提案する。
RealEstate10k と DL3DV の実験では、WanAR+FixAR がカメラ制御長ビデオ生成の先行手法より優れていたことが示されている。
- 参考スコア(独自算出の注目度): 44.92601598946814
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the task of long-video, camera-controlled generation from a single image. The dominant autoregressive paradigm suffers from two key limitations: (1) error accumulation over time, as distant frames are conditioned on previously generated outputs rather than ground truth, leading to drift; and (2) ambiguity in how to incorporate camera control. Standard solutions to both--such as self-forcing and conditioning on explicit 6-DOF poses--either incur significant computational overhead or produce drifting scene geometries over time. We propose a simple and lightweight framework that combines autoregressive generation (WanAR) with hierarchical long-context denoising (FixAR). To enforce scene geometry remains consistent with input cameras, we draw from feed-forward novel-view synthesis and reformulate video generation as a warping-and-inpainting problem. To mitigate drift, we introduce a hierarchical denoising strategy in which different stages condition on different temporal histories. Specifically, we first generate frames conditioned on the immediate past, and then refine them using a second denoiser conditioned on a temporally subsampled long-range history to enforce global consistency. This fine-to-coarse scheme enables each generated frame to effectively condition on the full temporal context without incurring a prohibitive cost. Experiments on RealEstate10k and DL3DV demonstrate that WanAR+FixAR outperforms prior methods for camera-controlled long-video generation, producing results that are both temporally stable and consistent with input camera trajectories.
- Abstract(参考訳): 我々は,1枚の画像から長ビデオ,カメラ制御による映像生成の課題に対処する。
支配的な自己回帰パラダイムは、(1) 時間とともにエラーの蓄積、(2) カメラ制御を組み込む方法の曖昧さ、という2つの重要な制限に悩まされている。
明示的な6-DOFのポーズに対する自己強制や条件付けのような、双方に対する標準的な解決策は、計算上のオーバーヘッドがかなり大きいか、時間とともにドリフトするシーンジオメトリを生成するかのいずれかである。
本稿では,自己回帰生成(WanAR)と階層長文デノーミング(FixAR)を組み合わせた,シンプルで軽量なフレームワークを提案する。
シーン幾何学を入力カメラと整合性を保つため,フィードフォワードのノベルビュー合成から映像生成をワーピング・アンド・インペインティング問題として再構築する。
ドリフトを緩和するために,異なる時間的履歴に異なるステージ条件を呈する階層的認知戦略を導入する。
具体的には、まず、直近の過去の条件付きフレームを生成し、その後、時間的にサブサンプリングされた長距離履歴を条件とした第2のデノイザーを用いて、グローバルな一貫性を強制する。
この細粒度化方式により、各生成されたフレームが、禁止コストを発生させることなく、フルタイムコンテキストを効果的に条件付けることができる。
RealEstate10k と DL3DV の実験では、WanAR+FixAR がカメラ制御長ビデオ生成の先行手法より優れており、時間的に安定であり、入力されたカメラ軌跡と一致している。
関連論文リスト
- FlowLong: Inference-time Long Video Generation via Manifold-constrained Tweedie Matching [68.01498128172214]
本稿では,アーキテクチャに依存しない,追加のトレーニングを必要としない長大なビデオ生成のための,斬新でシンプルな推論時間アプローチを提案する。
提案手法では,隣接するウィンドウからのクリーンサンプルをemphTweedieマッチングでブレンドし,テキストbfmanifoldの制約と重複領域間の時間的一貫性を強制する。
本手法は, 時間的一貫性と視覚的品質において, トレーニング不要, 自己回帰ベースラインを両立させながら, ネイティブウィンドウ長よりも数倍長大のビデオを生成する。
論文 参考訳(メタデータ) (2026-05-20T08:55:37Z) - RealCam: Real-Time Novel-View Video Generation with Interactive Camera Control [30.825728569025525]
リアルタイムカメラ制御ビデオ・ツー・ビデオ(V2V)生成はインタラクティブな映画製作やライブ放送において大きな可能性を秘めている。
既存の暗黙合成法は、非因果的、フルシーケンス処理と厳密なプレフィックススタイルの時間的結合に依存している。
我々は、インタラクティブでリアルタイムなカメラ制御V2V生成のための新しい自動回帰フレームワーク、texttRealCamを紹介した。
論文 参考訳(メタデータ) (2026-05-07T11:36:29Z) - Streaming Autoregressive Video Generation via Diagonal Distillation [50.13573884115673]
自己回帰モデルは、シーケンシャルフレーム合成のための自然なフレームワークを提供するが、高い忠実性を達成するためには重い計算を必要とする。
ビデオチャンクとデノイングステップの時間的情報を活用するために,ダイアゴナル蒸留を提案する。
本手法は,2.61秒(最大31FPS)で5秒ビデオを生成し,未蒸留モデル上で277.3倍のスピードアップを実現する。
論文 参考訳(メタデータ) (2026-03-10T10:45:24Z) - Plenoptic Video Generation [80.3116444692858]
PlenopticDreamerは、同期時間記憶を維持するために生成幻覚を同期するフレームワークである。
中心となる考え方は、マルチインアウトのビデオ条件付きモデルを自己回帰的にトレーニングすることだ。
トレーニングでは,コンバージェンス向上のためのコンテキストスケーリング,エラー蓄積による幻覚への自己条件付け,拡張ビデオ生成をサポートする長時間ビデオコンディショニング機構が組み込まれている。
論文 参考訳(メタデータ) (2026-01-08T18:58:32Z) - Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。
1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
論文 参考訳(メタデータ) (2025-12-18T20:03:05Z) - Event-based Continuous Color Video Decompression from Single Frames [36.4263932473053]
本研究では,静止RGB画像とイベントカメラストリームから連続映像を生成する新しい手法であるContinuityCamを提案する。
提案手法は、連続した長距離動きモデリングとニューラル合成モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
論文 参考訳(メタデータ) (2023-11-30T18:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。