論文の概要: Ctrl-VI: Controllable Video Synthesis via Variational Inference

• arxiv url: http://arxiv.org/abs/2510.07670v2
• Date: Thu, 16 Oct 2025 17:48:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 14:17:28.066854
• Title: Ctrl-VI: Controllable Video Synthesis via Variational Inference
• Title（参考訳）: Ctrl-VI:変分推論による制御可能なビデオ合成
• Authors: Haoyi Duan, Yunzhi Zhang, Yilun Du, Jiajun Wu,
• Abstract要約: Ctrl-VIは、特定の要素に対して高い制御性を持つサンプルを生成するビデオ合成法である。 本手法は, 従来よりも制御性, 多様性, 3次元の整合性を向上したサンプルを生成する。
• 参考スコア（独自算出の注目度）: 62.79016502243712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many video workflows benefit from a mixture of user controls with varying granularity, from exact 4D object trajectories and camera paths to coarse text prompts, while existing video generative models are typically trained for fixed input formats. We develop Ctrl-VI, a video synthesis method that addresses this need and generates samples with high controllability for specified elements while maintaining diversity for under-specified ones. We cast the task as variational inference to approximate a composed distribution, leveraging multiple video generation backbones to account for all task constraints collectively. To address the optimization challenge, we break down the problem into step-wise KL divergence minimization over an annealed sequence of distributions, and further propose a context-conditioned factorization technique that reduces modes in the solution space to circumvent local optima. Experiments suggest that our method produces samples with improved controllability, diversity, and 3D consistency compared to prior works.
• Abstract（参考訳）: 多くのビデオワークフローは、正確な4Dオブジェクト軌跡やカメラパスから粗いテキストプロンプトまで、様々な粒度のユーザーコントロールの混合から恩恵を受ける。 我々は、このニーズに対処するビデオ合成手法であるCtrl-VIを開発し、不特定要素の多様性を維持しつつ、特定の要素に対して高い制御性を持つサンプルを生成する。 我々は,複数のビデオ生成バックボーンを利用して,全てのタスク制約を総合的に考慮し,構成された分布を近似するために,このタスクを変分推論としてキャストした。 最適化問題に対処するため, 解空間のモードを減らし, 局所最適を回避できる文脈条件因子化手法を提案する。 実験により, 従来よりも制御性, 多様性, 3次元の整合性が向上した試料が得られた。

関連論文リスト

• CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion [62.04833878126661]
  統合拡散フレームワークにおける映像理解と制御可能な映像生成という2つの課題に対処する。 CtrlVDiffは、Hybrid Modality Control Strategy(HMCS)で訓練された統合拡散モデルであり、深度、正規度、セグメンテーション、エッジ、グラフィックベースの内在性(アルベド、粗さ、金属)から特徴を導出し、融合する。 理解と生成のベンチマーク全体にわたって、CtrlVDiffは優れた制御性と忠実さを提供し、レイヤワイズな編集(リライティング、材料調整、オブジェクト挿入)と最先端のベースラインを越えながら、いくつかのモダリティが利用できない場合の堅牢性を維持している。
  論文  参考訳（メタデータ） (2025-11-26T07:27:11Z)
• Uniform Discrete Diffusion with Metric Path for Video Generation [103.86033350602908]
  連続空間ビデオ生成は急速に進歩し、離散的なアプローチはエラーの蓄積と長時間の矛盾により遅れている。 我々は、拡張性のあるビデオ生成のための連続的なアプローチでギャップを埋める強力なフレームワークであるUniform Generative ModelingとUniform pAth(URSA)を提案する。 URSAは既存の離散的手法を一貫して上回り、最先端の連続拡散法に匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-10-28T17:59:57Z)
• SwiftVideo: A Unified Framework for Few-Step Video Generation through Trajectory-Distribution Alignment [76.60024640625478]
  拡散ベースまたはフローベースモデルは、ビデオ合成において大きな進歩を遂げているが、複数の反復サンプリングステップが必要である。 本稿では, トラジェクトリ保存と分散マッチングの利点を組み合わせた, 統一かつ安定な蒸留フレームワークを提案する。 提案手法は高品質なビデオ生成を維持しつつ,推論ステップの数を著しく削減する。
  論文  参考訳（メタデータ） (2025-08-08T07:26:34Z)
• DiVE: Efficient Multi-View Driving Scenes Generation Based on Video Diffusion Transformer [56.98400572837792]
  DiVEは高忠実で、時間的コヒーレントで、相互に一貫したマルチビュービデオを生成する。 これらの革新は総じて、最小品質の劣化を伴う2.62倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2025-04-28T09:20:50Z)
• Enabling Versatile Controls for Video Diffusion Models [18.131652071161266]
  VCtrlは、事前訓練されたビデオ拡散モデルのきめ細かい制御を可能にするように設計された新しいフレームワークである。 総合的な実験と人的評価により、VCtrlは制御性と生成品質を効果的に向上させる。
  論文  参考訳（メタデータ） (2025-03-21T09:48:00Z)
• Stable Virtual Camera: Generative View Synthesis with Diffusion Models [51.71244310522393]
  本稿では,シーンの新たなビューを生成する汎用拡散モデルであるスタブルバーチャルカメラ(Seva)を紹介する。 このアプローチは、シンプルなモデル設計、最適化されたトレーニングレシピ、柔軟なサンプリング戦略によってこれらの制限を克服する。 提案手法では,シームレスなループ閉鎖により,最大半分間の高品質なビデオを生成することができる。
  論文  参考訳（メタデータ） (2025-03-18T17:57:22Z)
• Video Decomposition Prior: A Methodology to Decompose Videos into Layers [74.36790196133505]
  本稿では,プロのビデオ編集の実践からインスピレーションを得た,VDP以前の新しいビデオ分解手法を提案する。 VDPフレームワークは、ビデオシーケンスを複数のRGBレイヤと関連する不透明度レベルに分解する。 ビデオオブジェクトのセグメンテーション、デハジング、リライティングといったタスクに対処する。
  論文  参考訳（メタデータ） (2024-12-06T10:35:45Z)
• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• MAVIN: Multi-Action Video Generation with Diffusion Models via Transition Video Infilling [19.004339956475498]
  MAVINは、2つの動画をシームレスに接続し、結合的な統合シーケンスを形成するトランジションビデオを生成するように設計されている。 従来の品質基準を補完し,時間的コヒーレンスと滑らかさを評価するための新しい指標CLIP-RS(CLIP Relative Smoothness)を導入する。 馬とトラのシナリオに関する実験結果は、滑らかでコヒーレントなビデオ遷移を生成するMAVINの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-28T09:46:09Z)
• Disentangling Multiple Features in Video Sequences using Gaussian Processes in Variational Autoencoders [6.461473289206789]
  ビデオシーケンスにおける非教師なし表現学習のための潜在空間をモデル化するためにガウス過程(GP)を用いる変分オートエンコーダであるMGP-VAEを導入する。 分数的ブラウン運動 (fBM) とブラウンブリッジ (BB) を用いて, 各独立チャネルにおけるフレーム間相関構造を強制し, この構造の変化によって, データの変動の異なる要因を捉えることができることを示す。
  論文  参考訳（メタデータ） (2020-01-08T08:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。