論文の概要: TweedieMix: Improving Multi-Concept Fusion for Diffusion-based Image/Video Generation

• arxiv url: http://arxiv.org/abs/2410.05591v1
• Date: Tue, 8 Oct 2024 01:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:48:36.341503
• Title: TweedieMix: Improving Multi-Concept Fusion for Diffusion-based Image/Video Generation
• Title（参考訳）: TweedieMix:拡散画像/ビデオ生成のためのマルチコンセプト融合の改善
• Authors: Gihyun Kwon, Jong Chul Ye,
• Abstract要約: TweedieMixは、カスタマイズされた拡散モデルを構成する新しい方法である。 我々のフレームワークは、画像とビデオの拡散モデルに力ずくで拡張できる。
• 参考スコア（独自算出の注目度）: 67.97044071594257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant advancements in customizing text-to-image and video generation models, generating images and videos that effectively integrate multiple personalized concepts remains a challenging task. To address this, we present TweedieMix, a novel method for composing customized diffusion models during the inference phase. By analyzing the properties of reverse diffusion sampling, our approach divides the sampling process into two stages. During the initial steps, we apply a multiple object-aware sampling technique to ensure the inclusion of the desired target objects. In the later steps, we blend the appearances of the custom concepts in the de-noised image space using Tweedie's formula. Our results demonstrate that TweedieMix can generate multiple personalized concepts with higher fidelity than existing methods. Moreover, our framework can be effortlessly extended to image-to-video diffusion models, enabling the generation of videos that feature multiple personalized concepts. Results and source code are in our anonymous project page.
• Abstract（参考訳）: テキスト・ツー・イメージとビデオ生成モデルのカスタマイズが大幅に進歩しているにもかかわらず、複数のパーソナライズされた概念を効果的に統合する画像やビデオを生成することは難しい課題である。 そこで本研究では、推論フェーズにおいて、カスタマイズされた拡散モデルを構成する新しい方法であるTweedieMixを提案する。 逆拡散サンプリングの特性を解析することにより,本手法はサンプリング過程を2段階に分割する。 初期段階において,対象対象オブジェクトの包摂性を確保するため,複数のオブジェクト認識サンプリング手法を適用した。 後段では、Tweedieの公式を用いて、デノーズ画像空間におけるカスタム概念の外観をブレンドする。 以上の結果から,TweedieMixは既存手法よりも高い忠実度で複数のパーソナライズされた概念を生成できることが示された。 さらに,このフレームワークは画像間拡散モデルにも拡張可能で,複数のパーソナライズされた概念を特徴付けるビデオを生成することができる。 結果とソースコードは匿名プロジェクトのページにあります。

関連論文リスト

• Vivid-ZOO: Multi-View Video Generation with Diffusion Model [76.96449336578286]
  新しい課題は、大量のキャプション付きマルチビュービデオの欠如と、そのような多次元分布をモデル化する複雑さにある。 本稿では,テキストから動的3Dオブジェクトを中心に,高品質なマルチビュービデオを生成する拡散型パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:44:04Z)
• StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation [117.13475564834458]
  本稿では,一貫性自己注意という新たな自己注意計算手法を提案する。 提案手法を長距離ビデオ生成に拡張するために,新しい意味空間時間運動予測モジュールを導入する。 これら2つの新しいコンポーネントを統合することで、StoryDiffusionと呼ばれるフレームワークは、一貫した画像やビデオでテキストベースのストーリーを記述することができます。
  論文  参考訳（メタデータ） (2024-05-02T16:25:16Z)
• Concept Weaver: Enabling Multi-Concept Fusion in Text-to-Image Models [85.14042557052352]
  本研究では,カスタマイズされたテキストと画像の拡散モデルを推論時に作成する方法であるConcept Weaverを紹介する。 概念ウィーバーは、他のアプローチと比較して、アイデンティティの忠実度が高い複数のカスタム概念を生成可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-05T06:41:27Z)
• DreamVideo: High-Fidelity Image-to-Video Generation with Image Retention and Text Guidance [69.0740091741732]
  本研究では,DreamVideo という名前の事前学習ビデオ拡散モデルに基づくフレーム保持分岐を考案し,高忠実度映像生成手法を提案する。 我々のモデルには強力な画像保持能力があり、我々の知る限り、他の画像-映像モデルと比較して、UCF101で最高の結果をもたらす。
  論文  参考訳（メタデータ） (2023-12-05T03:16:31Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。