論文の概要: LatentMan: Generating Consistent Animated Characters using Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2312.07133v2
• Date: Sun, 2 Jun 2024 10:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 20:01:52.194294
• Title: LatentMan: Generating Consistent Animated Characters using Image Diffusion Models
• Title（参考訳）: LatentMan:画像拡散モデルを用いた一貫性アニメーション文字の生成
• Authors: Abdelrahman Eldesokey, Peter Wonka,
• Abstract要約: テキスト・ツー・イメージ(T2I)拡散モデルに基づいて,アニメキャラクターの一貫した映像を生成するゼロショット手法を提案する。 提案手法は,既存のゼロショットT2V手法より,ピクセルワイドの一貫性とユーザ嗜好の観点からアニメーションキャラクターのビデオ生成に優れる。
• 参考スコア（独自算出の注目度）: 44.18315132571804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a zero-shot approach for generating consistent videos of animated characters based on Text-to-Image (T2I) diffusion models. Existing Text-to-Video (T2V) methods are expensive to train and require large-scale video datasets to produce diverse characters and motions. At the same time, their zero-shot alternatives fail to produce temporally consistent videos with continuous motion. We strive to bridge this gap, and we introduce LatentMan, which leverages existing text-based motion diffusion models to generate diverse continuous motions to guide the T2I model. To boost the temporal consistency, we introduce the Spatial Latent Alignment module that exploits cross-frame dense correspondences that we compute to align the latents of the video frames. Furthermore, we propose Pixel-Wise Guidance to steer the diffusion process in a direction that minimizes visual discrepancies between frames. Our proposed approach outperforms existing zero-shot T2V approaches in generating videos of animated characters in terms of pixel-wise consistency and user preference. Project page https://abdo-eldesokey.github.io/latentman/.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルに基づいて,アニメキャラクターの一貫した映像を生成するゼロショット手法を提案する。 既存のテキスト・トゥ・ビデオ(T2V)手法は訓練に費用がかかり、多様なキャラクタやモーションを生成するために大規模なビデオデータセットを必要とする。 同時に、ゼロショットの代替手段は、連続的な動きを伴う時間的に一貫したビデオを生成することができない。 我々はこのギャップを埋めようと努力し、既存のテキストベースの動き拡散モデルを利用してT2Iモデルを誘導する多種多様な連続的な動きを生成するLatntManを紹介した。 時間的整合性を高めるために,ビデオフレームの遅延を整列させるために計算するクロスフレーム密度対応を利用した空間潜在アライメントモジュールを導入する。 さらに,フレーム間の視覚的差異を最小限に抑える方向に拡散過程を制御するためのPixel-Wise Guidanceを提案する。 提案手法は,既存のゼロショットT2V手法より,ピクセルワイドの一貫性とユーザ嗜好の観点からアニメーションキャラクターのビデオ生成に優れる。 プロジェクトページ https://abdo-eldesokey.github.io/latentman/。

関連論文リスト

• StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation [117.13475564834458]
  本稿では,一貫性自己注意という新たな自己注意計算手法を提案する。 提案手法を長距離ビデオ生成に拡張するために,新しい意味空間時間運動予測モジュールを導入する。 これら2つの新しいコンポーネントを統合することで、StoryDiffusionと呼ばれるフレームワークは、一貫した画像やビデオでテキストベースのストーリーを記述することができます。
  論文  参考訳（メタデータ） (2024-05-02T16:25:16Z)
• LoopAnimate: Loopable Salient Object Animation [19.761865029125524]
  LoopAnimateは、一貫した開始フレームと終了フレームでビデオを生成する新しい方法である。 忠実度や時間的整合性,主観評価結果など,両指標の最先端性を実現している。
  論文  参考訳（メタデータ） (2024-04-14T07:36:18Z)
• Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
  画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。 本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。 モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
  論文  参考訳（メタデータ） (2024-03-07T16:18:28Z)
• AnimateZero: Video Diffusion Models are Zero-Shot Image Animators [63.938509879469024]
  我々はAnimateZeroを提案し、事前訓練されたテキスト・ビデオ拡散モデル、すなわちAnimateDiffを提案する。 外観制御のために,テキスト・ツー・イメージ(T2I)生成から中間潜伏子とその特徴を借りる。 時間的制御では、元のT2Vモデルのグローバルな時間的注意を位置補正窓の注意に置き換える。
  論文  参考訳（メタデータ） (2023-12-06T13:39:35Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• MoVideo: Motion-Aware Video Generation with Diffusion Models [97.03352319694795]
  本稿では,映像深度と光フローの2つの側面から動きを考慮に入れたモーションアウェア・ジェネレーション(MoVideo)フレームワークを提案する。 MoVideoは、テキスト・トゥ・ビデオと画像・トゥ・ビデオ生成の両方で最先端の結果を達成し、期待できる即時一貫性、フレームの整合性、視覚的品質を示す。
  論文  参考訳（メタデータ） (2023-11-19T13:36:03Z)
• LAMP: Learn A Motion Pattern for Few-Shot-Based Video Generation [44.220329202024494]
  我々は,1つのGPU上で816本の動画でテキストから画像への拡散モデルを学習する,数ショットベースのチューニングフレームワーク LAMP を提案する。 具体的には,コンテンツ生成のための既製のテキスト・ツー・イメージモデルを用いて,第1フレーム条件のパイプラインを設計する。 時間次元の特徴を捉えるため、T2Iモデルの事前訓練された2次元畳み込み層を、新しい時間空間運動学習層に拡張する。
  論文  参考訳（メタデータ） (2023-10-16T19:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。