論文の概要: DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.05107v1
• Date: Fri, 8 Dec 2023 15:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-11 14:48:38.306883
• Title: DreaMoving: A Human Dance Video Generation Framework based on Diffusion Models
• Title（参考訳）: DreaMoving:拡散モデルに基づく人間のダンスビデオ生成フレームワーク
• Authors: Mengyang Feng, Jinlin Liu, Kai Yu, Yuan Yao, Zheng Hui, Xiefan Guo, Xianhui Lin, Haolan Xue, Chen Shi, Xiaowen Li, Aojie Li, Miaomiao Cui, Peiran Ren, Xuansong Xie
• Abstract要約: DreaMovingは拡散ベースの制御可能なビデオ生成フレームワークである。 本稿では、モーションコントロールのためのビデオ制御ネットと、アイデンティティ保存のためのコンテンツガイドの提案を行う。
• 参考スコア（独自算出の注目度）: 30.734893700794093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present DreaMoving, a diffusion-based controllable video generation framework to produce high-quality customized human dance videos. Specifically, given target identity and posture sequences, DreaMoving can generate a video of the target identity dancing anywhere driven by the posture sequences. To this end, we propose a Video ControlNet for motion-controlling and a Content Guider for identity preserving. The proposed model is easy to use and can be adapted to most stylized diffusion models to generate diverse results. The project page is available at https://dreamoving.github.io/dreamoving.
• Abstract（参考訳）: 本稿では,ハイクオリティな人間のダンスビデオを制作するための拡散制御型ビデオ生成フレームワークdreamovingを提案する。 具体的には、ターゲットのアイデンティティと姿勢シーケンスが与えられた場合、DreaMovingは姿勢シーケンスによって駆動される任意の場所で踊るターゲットのアイデンティティのビデオを生成することができる。 そこで本研究では,モーションコントロールのためのVideo ControlNetと,ID保存のためのContent Guiderを提案する。 提案モデルの使用は容易であり,ほとんどのスタイライゼーション拡散モデルに適用して多様な結果を生成することができる。 プロジェクトページはhttps://dreamoving.github.io/dreamovingで閲覧できる。

関連論文リスト

• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• VideoPhy: Evaluating Physical Commonsense for Video Generation [93.28748850301949]
  生成したビデオが現実世界のアクティビティの物理的常識に従うかどうかを評価するためのベンチマークであるVideoPhyを提示する。 そして、さまざまな最先端のテキスト・ビデオ生成モデルからキャプションに条件付けされたビデオを生成する。 人間の評価では、既存のモデルには、与えられたテキストプロンプトに付着したビデオを生成する能力が欠けていることが判明した。
  論文  参考訳（メタデータ） (2024-06-05T17:53:55Z)
• VGMShield: Mitigating Misuse of Video Generative Models [7.963591895964269]
  VGMShieldは、フェイクビデオ生成のライフサイクルを通じて、単純だが先駆的な3つの緩和セットである。 まず、生成されたビデオにユニークさがあるかどうか、そしてそれらを実際のビデオと区別できるかどうかを理解する。 そこで本研究では,偽動画を生成モデルにマッピングするテクトニクス問題について検討する。
  論文  参考訳（メタデータ） (2024-02-20T16:39:23Z)
• DreamVideo: Composing Your Dream Videos with Customized Subject and Motion [52.7394517692186]
  対象の静的画像からパーソナライズされたビデオを生成する新しいアプローチであるDreamVideoを紹介します。 DreamVideoは、このタスクを、トレーニング済みのビデオ拡散モデルを活用することによって、主観学習とモーション学習の2つの段階に分離する。 モーション学習では、対象のモーションパターンを効果的にモデル化するために、モーションアダプタを設計し、所定のビデオに微調整する。
  論文  参考訳（メタデータ） (2023-12-07T16:57:26Z)
• Generative Rendering: Controllable 4D-Guided Video Generation with 2D Diffusion Models [40.71940056121056]
  本稿では,動的3次元メッシュの制御可能性と,新しい拡散モデルの表現性と編集性を組み合わせた新しいアプローチを提案する。 本手法は,トリグアセットのアニメーションやカメラパスの変更によって,動きを得られる様々な例について実証する。
  論文  参考訳（メタデータ） (2023-12-03T14:17:11Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• VIDiff: Translating Videos via Multi-Modal Instructions with Diffusion Models [96.55004961251889]
  Video Instruction Diffusion (VIDiff) は、幅広いビデオタスク用に設計された統合基盤モデルである。 我々のモデルは,ユーザの指示に基づいて,所望の結果を数秒以内に編集し,翻訳することができる。 様々な入力ビデオや書き起こしに対して,質的かつ定量的に,説得力のある生成結果を提供する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:52Z)
• LaMD: Latent Motion Diffusion for Video Generation [69.4111397077229]
  LaMDフレームワークは、モーション分解されたビデオオートエンコーダと拡散に基づくモーションジェネレータで構成される。 その結果、LaMDはダイナミックスから高度に制御可能な動きに至るまで、幅広い動きを持つ高品質なビデオを生成することがわかった。
  論文  参考訳（メタデータ） (2023-04-23T10:32:32Z)
• Video Content Swapping Using GAN [1.2300363114433952]
  この作業では、ビデオの任意のフレームをコンテンツとポーズに分解します。 まず、事前訓練された人間のポーズ検出を用いて映像からポーズ情報を抽出し、生成モデルを用いてコンテンツコードに基づいて映像を合成し、コードを合成する。
  論文  参考訳（メタデータ） (2021-11-21T23:01:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。