論文の概要: Enabling Versatile Controls for Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.16983v1
• Date: Fri, 21 Mar 2025 09:48:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:58:18.067607
• Title: Enabling Versatile Controls for Video Diffusion Models
• Title（参考訳）: ビデオ拡散モデルにおける可逆制御の導入
• Authors: Xu Zhang, Hao Zhou, Haoming Qin, Xiaobin Lu, Jiaxing Yan, Guanzhong Wang, Zeyu Chen, Yi Liu,
• Abstract要約: VCtrlは、事前訓練されたビデオ拡散モデルのきめ細かい制御を可能にするように設計された新しいフレームワークである。 総合的な実験と人的評価により、VCtrlは制御性と生成品質を効果的に向上させる。
• 参考スコア（独自算出の注目度）: 18.131652071161266
• License:
• Abstract: Despite substantial progress in text-to-video generation, achieving precise and flexible control over fine-grained spatiotemporal attributes remains a significant unresolved challenge in video generation research. To address these limitations, we introduce VCtrl (also termed PP-VCtrl), a novel framework designed to enable fine-grained control over pre-trained video diffusion models in a unified manner. VCtrl integrates diverse user-specified control signals-such as Canny edges, segmentation masks, and human keypoints-into pretrained video diffusion models via a generalizable conditional module capable of uniformly encoding multiple types of auxiliary signals without modifying the underlying generator. Additionally, we design a unified control signal encoding pipeline and a sparse residual connection mechanism to efficiently incorporate control representations. Comprehensive experiments and human evaluations demonstrate that VCtrl effectively enhances controllability and generation quality. The source code and pre-trained models are publicly available and implemented using the PaddlePaddle framework at http://github.com/PaddlePaddle/PaddleMIX/tree/develop/ppdiffusers/examples/ppvctrl.
• Abstract（参考訳）: テキスト・ビデオ生成の大幅な進歩にもかかわらず、微細な時空間特性の正確かつ柔軟な制御を達成することは、ビデオ生成研究において重要な未解決課題である。 これらの制約に対処するために,事前学習したビデオ拡散モデルに対するきめ細かい制御を可能にする新しいフレームワークであるVCtrl(PP-VCtrlとも呼ばれる)を導入する。 VCtrlは、キャニーエッジ、セグメンテーションマスク、人間のキーポイントのような多様なユーザ指定制御信号を、基礎となるジェネレータを変更することなく、複数の種類の補助信号を均一に符号化できる一般化可能な条件付きモジュールを介して、事前訓練されたビデオ拡散モデルに統合する。 さらに、制御表現を効率的に組み込むために、統一的な制御信号符号化パイプラインとスパース残差接続機構を設計する。 総合的な実験と人的評価により、VCtrlは制御性と生成品質を効果的に向上することを示した。 ソースコードと事前トレーニングされたモデルは、http://github.com/PaddlePaddle/tree/develop/ppdiffusers/examples/ppvctrlでPaddlePaddleフレームワークを使用して公開され、実装されている。

関連論文リスト

• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• ControlAR: Controllable Image Generation with Autoregressive Models [40.74890550081335]
  自動回帰画像生成モデルに空間制御を統合するための効率的なフレームワークであるControlARを導入する。 ControlARは条件付き復号法を利用して、制御と画像トークンの融合によって条件付けられた次の画像トークンを生成する。 その結果,コントロールARは従来の制御可能な拡散モデルを上回ることが示唆された。
  論文  参考訳（メタデータ） (2024-10-03T17:28:07Z)
• Adding Conditional Control to Diffusion Models with Reinforcement Learning [68.06591097066811]
  拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。 大規模なデータセットでトレーニングされたこれらの拡散モデルは成功したが、下流の微調整プロセスに新たな制御を導入する必要があることが多い。 本研究では、オフラインデータセットを用いた強化学習(RL)に基づく新しい制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:00:26Z)
• Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model [62.51232333352754]
  Ctrl-Adapterは、事前訓練されたコントロールネットの適応を通じて、任意の画像/ビデオ拡散モデルに多様なコントロールを追加する。 6つの多様なU-Net/DiTベースの画像/ビデオ拡散モデルにより、Ctrl-AdapterはCOCO上の事前訓練されたコントロールネットのパフォーマンスと一致する。
  論文  参考訳（メタデータ） (2024-04-15T17:45:36Z)
• ControlNet-XS: Rethinking the Control of Text-to-Image Diffusion Models as Feedback-Control Systems [19.02295657801464]
  本研究では,既存の制御ネットワーク(ControlNet)を用いて,制御ネットワークと生成プロセス間の通信を高周波かつ大帯域で変更する。 我々は,深度,キャニーエッジ,セマンティックセグメンテーションなどの画素レベルのガイダンスに対する最先端のアプローチよりも優れており,人間のポーズのゆるいキーポイントガイダンスと同等である。 すべてのコードと事前訓練されたモデルは公開されます。
  論文  参考訳（メタデータ） (2023-12-11T17:58:06Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models [84.71887272654865]
  SparseCtrlは時間的にスパース信号で柔軟な構造制御を可能にする。 トレーニング済みのT2Vモデルに触ることなく、これらのスパース信号を処理するための追加条件が組み込まれている。 提案手法はスケッチ,深度マップ,RGB画像など,さまざまなモダリティと互換性がある。
  論文  参考訳（メタデータ） (2023-11-28T16:33:08Z)
• Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation [79.8881514424969]
  テキスト条件拡散モデルは多種多様な内容の高忠実度画像を生成することができる。 しかし、言語表現はしばしば、想定された目的像の曖昧な記述を示す。 様々なモダリティを1つの埋め込みに混ぜるパイプラインであるCocktailを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。