論文の概要: MM2Latent: Text-to-facial image generation and editing in GANs with multimodal assistance
- arxiv url: http://arxiv.org/abs/2409.11010v1
- Date: Tue, 17 Sep 2024 09:21:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 17:18:54.069591
- Title: MM2Latent: Text-to-facial image generation and editing in GANs with multimodal assistance
- Title（参考訳）: MM2Latent:マルチモーダル支援によるGANのテキスト・インタフェース画像生成と編集
- Authors: Debin Meng, Christos Tzelepis, Ioannis Patras, Georgios Tzimiropoulos,
- Abstract要約: マルチモーダル画像生成と編集のための実践的なフレームワークMM2Latentを提案する。
画像生成にはStyleGAN2を使用し,テキスト符号化にはFaRLを使用し,マスクやスケッチ,3DMMなどの空間変調のためのオートエンコーダを訓練する。
提案手法は,近年のGAN法や拡散法を超越したマルチモーダル画像生成において,優れた性能を示す。
- 参考スコア（独自算出の注目度）: 32.70801495328193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating human portraits is a hot topic in the image generation area, e.g. mask-to-face generation and text-to-face generation. However, these unimodal generation methods lack controllability in image generation. Controllability can be enhanced by exploring the advantages and complementarities of various modalities. For instance, we can utilize the advantages of text in controlling diverse attributes and masks in controlling spatial locations. Current state-of-the-art methods in multimodal generation face limitations due to their reliance on extensive hyperparameters, manual operations during the inference stage, substantial computational demands during training and inference, or inability to edit real images. In this paper, we propose a practical framework - MM2Latent - for multimodal image generation and editing. We use StyleGAN2 as our image generator, FaRL for text encoding, and train an autoencoders for spatial modalities like mask, sketch and 3DMM. We propose a strategy that involves training a mapping network to map the multimodal input into the w latent space of StyleGAN. The proposed framework 1) eliminates hyperparameters and manual operations in the inference stage, 2) ensures fast inference speeds, and 3) enables the editing of real images. Extensive experiments demonstrate that our method exhibits superior performance in multimodal image generation, surpassing recent GAN- and diffusion-based methods. Also, it proves effective in multimodal image editing and is faster than GAN- and diffusion-based methods. We make the code publicly available at: https://github.com/Open-Debin/MM2Latent
- Abstract（参考訳）: 人物像の生成は画像生成領域においてホットなトピックであり、egマスク・ツー・フェイス・ジェネレーションとテキスト・ツー・フェイス・ジェネレーションである。
しかし、これらの単一モード生成法は、画像生成における制御性に欠ける。
可制御性は、様々なモダリティの利点と相補性を探求することによって向上することができる。
例えば、多様な属性やマスクを制御したり、空間的な位置を制御したりすることで、テキストの利点を活用できる。
マルチモーダル生成における現在の最先端の手法は、広範なハイパーパラメータ、推論段階における手動操作、トレーニングと推論中のかなりの計算要求、実際の画像を編集できないことによる制限に直面している。
本稿では,マルチモーダル画像生成と編集のための実践的フレームワークMM2Latentを提案する。
画像生成にはStyleGAN2を使用し,テキスト符号化にはFaRLを使用し,マスクやスケッチ,3DMMなどの空間変調のためのオートエンコーダを訓練する。
本稿では,StyleGANのw潜在空間にマルチモーダル入力をマッピングするために,マッピングネットワークをトレーニングする戦略を提案する。
提案する枠組み
1)推論段階でのハイパーパラメータと手動操作を除去する。
2)高速な推論速度を保証し、
3) 実際の画像の編集を可能にする。
広汎な実験により,本手法はGAN法や拡散法を超越したマルチモーダル画像生成において優れた性能を示すことが示された。
また、マルチモーダル画像編集にも有効であり、GAN法や拡散法よりも高速である。
コードは、https://github.com/Open-Debin/MM2Latentで公開しています。
関連論文リスト
- A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。
この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。
T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
論文 参考訳（メタデータ） (2024-06-20T17:58:52Z) - Diffusion-driven GAN Inversion for Multi-Modal Face Image Generation [41.341693150031546]
本稿では,テキストプロンプトとセマンティックマスクやマップなどの視覚入力を写真リアルな顔画像に変換するマルチモーダル顔画像生成手法を提案する。
本稿では,2つのモデルを連結し,特徴写像と注目マップの有意な表現を潜在符号に変換するための,シンプルなマッピングとスタイル変調ネットワークを提案する。
提案するネットワークは, リアルな2D, マルチビュー, スタイル化された顔画像を生成する。
論文 参考訳（メタデータ） (2024-05-07T14:33:40Z) - 3D-aware Image Generation and Editing with Multi-modal Conditions [6.444512435220748]
1つの2Dセマンティックラベルから3D一貫性のある画像を生成することは、コンピュータグラフィックスとコンピュータビジョンにおいて重要かつ困難な研究トピックである。
複数種類の条件入力を組み込んだ新しい3D画像生成・編集モデルを提案する。
提案手法は,異なるノイズを持つ多様な画像を生成し,テキスト記述を通じて属性を編集し,参照RGB画像を与えることでスタイル転送を行う。
論文 参考訳（メタデータ） (2024-03-11T07:10:37Z) - Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。
編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。
拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
論文 参考訳（メタデータ） (2024-02-22T18:50:18Z) - UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion [36.06457895469353]
UNIMO-Gは条件付き拡散フレームワークであり、インターリーブされたテキストと視覚入力を持つマルチモーダルプロンプトで動作する。
テキスト・ツー・イメージ生成とゼロショット・テーマ駆動合成の両面で優れている。
論文 参考訳（メタデータ） (2024-01-24T11:36:44Z) - Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs [77.86214400258473]
トレーニング不要なテキスト・画像生成/編集フレームワークであるRecaption, Plan and Generate(RPG)を提案する。
RPGは、マルチモーダルLLMの強力な連鎖推論能力を活用し、テキストから画像への拡散モデルの合成性を高める。
本フレームワークはMLLMアーキテクチャとの広範な互換性を示す。
論文 参考訳（メタデータ） (2024-01-22T06:16:29Z) - Unified Multi-Modal Latent Diffusion for Joint Subject and Text
Conditional Image Generation [63.061871048769596]
本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。
より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。
入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-03-16T13:50:20Z) - MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation [34.61940502872307]
MultiDiffusionは、汎用的で制御可能な画像生成を可能にする統一されたフレームワークである。
高品質で多様な画像を生成するために,MultiDiffusionが容易に適用可能であることを示す。
論文 参考訳（メタデータ） (2023-02-16T06:28:29Z) - Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
顔画像生成と操作の両方に統一的なフレームワークを提案する。
本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
論文 参考訳（メタデータ） (2021-04-18T16:56:07Z) - TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。
StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。
視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。
インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
論文 参考訳（メタデータ） (2020-12-06T16:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。