論文の概要: MCGM: Mask Conditional Text-to-Image Generative Model

• arxiv url: http://arxiv.org/abs/2410.00483v1
• Date: Tue, 1 Oct 2024 08:13:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:16:55.557017
• Title: MCGM: Mask Conditional Text-to-Image Generative Model
• Title（参考訳）: MCGM:マスク条件テキスト・画像生成モデル
• Authors: Rami Skaik, Leonardo Rossi, Tomaso Fontanini, Andrea Prati,
• Abstract要約: 条件付きマスクテキスト・画像生成モデル(MCGM)を提案する。 本モデルでは,複数の被写体を持つ単一画像を用いた新たなシーン生成において,Break-a-scene [1]モデルの成功に基づいて構築した。 この追加的なレベルの制御を導入することで、MCGMは1つの画像から学んだ1つ以上の被験者に対する特定のポーズを生成する、柔軟で直感的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 1.909929271850469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in generative models have revolutionized the field of artificial intelligence, enabling the creation of highly-realistic and detailed images. In this study, we propose a novel Mask Conditional Text-to-Image Generative Model (MCGM) that leverages the power of conditional diffusion models to generate pictures with specific poses. Our model builds upon the success of the Break-a-scene [1] model in generating new scenes using a single image with multiple subjects and incorporates a mask embedding injection that allows the conditioning of the generation process. By introducing this additional level of control, MCGM offers a flexible and intuitive approach for generating specific poses for one or more subjects learned from a single image, empowering users to influence the output based on their requirements. Through extensive experimentation and evaluation, we demonstrate the effectiveness of our proposed model in generating high-quality images that meet predefined mask conditions and improving the current Break-a-scene generative model.
• Abstract（参考訳）: 生成モデルの最近の進歩は、人工知能の分野に革命をもたらし、高現実的で詳細な画像の作成を可能にした。 本研究では,特定のポーズで画像を生成するために条件拡散モデルのパワーを利用する新しいマスク条件付き画像生成モデル(MCGM)を提案する。 本モデルでは,複数の被写体を持つ単一画像を用いて新たなシーンを生成するBreak-a-scene [1]モデルの成功の上に構築し,生成プロセスの条件付けを可能にするマスク埋め込みインジェクションを組み込んだ。 この追加レベルのコントロールを導入することで、MCGMは、1つの画像から学んだ1つ以上の被験者に対して、フレキシブルで直感的なポーズを生成することができる。 本研究では,マスク条件を満たす高品質な画像の生成と,現行のBreak-a-scene生成モデルの改良に,提案モデルの有効性を実証する。

関連論文リスト

• A Simple Approach to Unifying Diffusion-based Conditional Generation [63.389616350290595]
  多様な条件生成タスクを処理するための、シンプルで統一されたフレームワークを導入します。 提案手法は,異なる推論時間サンプリング方式による多目的化を実現する。 我々のモデルは、非親密なアライメントや粗い条件付けのような追加機能をサポートしています。
  論文  参考訳（メタデータ） (2024-10-15T09:41:43Z)
• Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis [62.06970466554273]
  SDXLのような最先端拡散モデルに匹敵するレベルまで、非自己回帰マスク型画像モデリング(MIM)のテキスト・ツー・イメージが増大するMeissonicを提案する。 高品質なトレーニングデータを活用し、人間の嗜好スコアから得られるマイクロ条件を統合し、特徴圧縮層を用いて画像の忠実度と解像度をさらに向上する。 我々のモデルは、高画質の高精細画像を生成する際に、SDXLのような既存のモデルに適合するだけでなく、しばしば性能を上回ります。
  論文  参考訳（メタデータ） (2024-10-10T17:59:17Z)
• TIE: Revolutionizing Text-based Image Editing for Complex-Prompt Following and High-Fidelity Editing [23.51498634405422]
  マルチモーダルな大言語モデルの頑健な推論とローカライズ機能を活用した,革新的な画像編集フレームワークを提案する。 提案モデルでは,複雑なプロンプトを理解し,対応する画像を生成する能力が向上し,生成前後の画像の忠実度と一貫性が向上した。
  論文  参考訳（メタデータ） (2024-05-27T03:50:37Z)
• MaxFusion: Plug&Play Multi-Modal Generation in Text-to-Image Diffusion Models [34.611309081801345]
  大規模な拡散ベースのテキスト・ツー・イメージ(T2I)モデルでは、テキスト・ツー・イメージ生成に印象的な生成能力がある。 本稿では,最小限の計算量で新しいタスクにまたがって生成モデルを拡張するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:55:56Z)
• Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
  本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。 具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。 提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
  論文  参考訳（メタデータ） (2023-11-28T21:14:02Z)
• CoDi: Conditional Diffusion Distillation for Higher-Fidelity and Faster Image Generation [49.3016007471979]
  大規模な生成拡散モデルは、テキスト・ツー・イメージ生成に革命をもたらし、条件付き生成タスクに大きな可能性を秘めている。 しかし、彼らの普及は高い計算コストによって妨げられ、リアルタイムの応用が制限される。 本稿では,事前学習した潜伏拡散モデルに付加的な画像条件入力を適応させるCoDiという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:59:18Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Conditional Generation from Unconditional Diffusion Models using Denoiser Representations [94.04631421741986]
  本稿では,学習したデノイザネットワークの内部表現を用いて,事前学習した非条件拡散モデルを新しい条件に適用することを提案する。 提案手法により生成した合成画像を用いたTiny ImageNetトレーニングセットの強化により,ResNetベースラインの分類精度が最大8%向上することを示す。
  論文  参考訳（メタデータ） (2023-06-02T20:09:57Z)
• Conditioning Diffusion Models via Attributes and Semantic Masks for Face Generation [1.104121146441257]
  深層生成モデルは、現実的な顔の画像を生成する素晴らしい結果を示している。 GANはセマンティックマスクで条件付きで高品質で高忠実な画像を生成することができたが、それでも出力を多様化する能力は欠けていた。 本稿では,属性とセマンティックマスクの両方を利用した多条件拡散モデルの提案を行い,高品質で制御可能な顔画像を生成する。
  論文  参考訳（メタデータ） (2023-06-01T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。