論文の概要: Plenoptic Video Generation

• arxiv url: http://arxiv.org/abs/2601.05239v1
• Date: Thu, 08 Jan 2026 18:58:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 17:01:53.348963
• Title: Plenoptic Video Generation
• Title（参考訳）: プレノプティカルビデオ生成
• Authors: Xiao Fu, Shitao Tang, Min Shi, Xian Liu, Jinwei Gu, Ming-Yu Liu, Dahua Lin, Chen-Hsuan Lin,
• Abstract要約: PlenopticDreamerは、同期時間記憶を維持するために生成幻覚を同期するフレームワークである。 中心となる考え方は、マルチインアウトのビデオ条件付きモデルを自己回帰的にトレーニングすることだ。 トレーニングでは,コンバージェンス向上のためのコンテキストスケーリング,エラー蓄積による幻覚への自己条件付け,拡張ビデオ生成をサポートする長時間ビデオコンディショニング機構が組み込まれている。
• 参考スコア（独自算出の注目度）: 80.3116444692858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera-controlled generative video re-rendering methods, such as ReCamMaster, have achieved remarkable progress. However, despite their success in single-view setting, these works often struggle to maintain consistency across multi-view scenarios. Ensuring spatio-temporal coherence in hallucinated regions remains challenging due to the inherent stochasticity of generative models. To address it, we introduce PlenopticDreamer, a framework that synchronizes generative hallucinations to maintain spatio-temporal memory. The core idea is to train a multi-in-single-out video-conditioned model in an autoregressive manner, aided by a camera-guided video retrieval strategy that adaptively selects salient videos from previous generations as conditional inputs. In addition, Our training incorporates progressive context-scaling to improve convergence, self-conditioning to enhance robustness against long-range visual degradation caused by error accumulation, and a long-video conditioning mechanism to support extended video generation. Extensive experiments on the Basic and Agibot benchmarks demonstrate that PlenopticDreamer achieves state-of-the-art video re-rendering, delivering superior view synchronization, high-fidelity visuals, accurate camera control, and diverse view transformations (e.g., third-person to third-person, and head-view to gripper-view in robotic manipulation). Project page: https://research.nvidia.com/labs/dir/plenopticdreamer/
• Abstract（参考訳）: ReCamMasterのようなカメラ制御による生成ビデオ再レンダリング手法は、目覚ましい進歩を遂げた。 しかしながら、シングルビュー環境での成功にもかかわらず、これらの作業は、多視点シナリオ間の一貫性を維持するのに苦労することが多い。 幻覚領域における時空間コヒーレンスを確保することは、生成モデル固有の確率性のため、依然として困難である。 そこで我々は,時空間記憶を維持するために生成幻覚を同期させるフレームワークであるPlenopticDreamerを紹介した。 その中核となる考え方は、カメラ誘導型ビデオ検索戦略により、前世代から有能な映像を条件付き入力として適応的に選択する、自動回帰方式でマルチイン・シングルアウトビデオコンディションモデルを訓練することである。 さらに、コンバージェンス向上のためのプログレッシブ・コンテクスト・スケーリング、エラー蓄積による長距離視覚劣化に対する堅牢性向上のためのセルフコンディショニング、拡張ビデオ生成をサポートするロングビデオ・コンディショニング機構を取り入れた。 BasicとAgibotベンチマークの大規模な実験は、PlenopticDreamerが最先端のビデオ再レンダリングを実現し、優れたビュー同期、高忠実度ビジュアル、正確なカメラ制御、多彩なビュー変換(例えば、3人目から3人目、ロボット操作におけるグリップビューへのヘッドビュー)を提供することを示した。 プロジェクトページ: https://research.nvidia.com/labs/dir/plenopticdreamer/

関連論文リスト

• Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
  InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。 1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
  論文  参考訳（メタデータ） (2025-12-18T20:03:05Z)
• ReCamMaster: Camera-Controlled Generative Rendering from A Single Video [72.42376733537925]
  ReCamMasterは、カメラ制御された生成ビデオの再レンダリングフレームワークである。 これは、新しいカメラ軌道における入力ビデオのダイナミックなシーンを再現する。 また,ビデオの安定化,超高解像度化,画質向上に有望な応用を見出した。
  論文  参考訳（メタデータ） (2025-03-14T17:59:31Z)
• SynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse Viewpoints [43.14498014617223]
  マルチカメラビデオ生成のための事前訓練されたテキスト・ツー・ビデオモデルを強化するプラグイン・アンド・プレイ・モジュールを提案する。 異なる視点における外観と幾何の整合性を維持するために,マルチビュー同期モジュールを導入する。 提案手法は,新しい視点からビデオを再レンダリングするなど,興味をそそる拡張を可能にする。
  論文  参考訳（メタデータ） (2024-12-10T18:55:17Z)
• Cavia: Camera-controllable Multi-view Video Diffusion with View-Integrated Attention [62.2447324481159]
  Caviaはカメラ制御可能なマルチビュービデオ生成のための新しいフレームワークである。 我々のフレームワークは、空間的および時間的注意モジュールを拡張し、視点と時間的一貫性を改善します。 Caviaは、ユーザーが物体の動きを取得しながら、異なるカメラの動きを特定できる最初の製品だ。
  論文  参考訳（メタデータ） (2024-10-14T17:46:32Z)
• Collaborative Video Diffusion: Consistent Multi-video Generation with Camera Control [70.17137528953953]
  コラボレーション型ビデオ拡散(CVD)は、ビデオ生成のための最先端のカメラ制御モジュール上で訓練される。 CVDは、異なるカメラ軌跡からレンダリングされた複数のビデオを、ベースラインよりもはるかに優れた一貫性で生成する。
  論文  参考訳（メタデータ） (2024-05-27T17:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。