論文の概要: PersonaMagic: Stage-Regulated High-Fidelity Face Customization with Tandem Equilibrium

• arxiv url: http://arxiv.org/abs/2412.15674v1
• Date: Fri, 20 Dec 2024 08:41:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:23:56.000330
• Title: PersonaMagic: Stage-Regulated High-Fidelity Face Customization with Tandem Equilibrium
• Title（参考訳）: PersonaMagic: Tandem Equilibriumによるステージ制御された高忠実顔のカスタマイズ
• Authors: Xinzhe Li, Jiahui Zhan, Shengfeng He, Yangyang Xu, Junyu Dong, Huaidong Zhang, Yong Du,
• Abstract要約: PersonaMagicは、高忠実な顔のカスタマイズのために設計された、ステージ制御された生成技術である。 本手法は,顔の概念を捉えるために,特定の時間間隔内に一連の埋め込みを学習する。 定性評価と定量的評価の両方において、ペルソナマジックが最先端の手法よりも優れていることを確認する。
• 参考スコア（独自算出の注目度）: 55.72249032433108
• License:
• Abstract: Personalized image generation has made significant strides in adapting content to novel concepts. However, a persistent challenge remains: balancing the accurate reconstruction of unseen concepts with the need for editability according to the prompt, especially when dealing with the complex nuances of facial features. In this study, we delve into the temporal dynamics of the text-to-image conditioning process, emphasizing the crucial role of stage partitioning in introducing new concepts. We present PersonaMagic, a stage-regulated generative technique designed for high-fidelity face customization. Using a simple MLP network, our method learns a series of embeddings within a specific timestep interval to capture face concepts. Additionally, we develop a Tandem Equilibrium mechanism that adjusts self-attention responses in the text encoder, balancing text description and identity preservation, improving both areas. Extensive experiments confirm the superiority of PersonaMagic over state-of-the-art methods in both qualitative and quantitative evaluations. Moreover, its robustness and flexibility are validated in non-facial domains, and it can also serve as a valuable plug-in for enhancing the performance of pretrained personalization models.
• Abstract（参考訳）: パーソナライズされた画像生成は、新しい概念にコンテンツを適用するために大きな進歩を遂げてきた。 しかし、持続的な課題は、特に複雑な顔の特徴を扱う際に、未確認概念の正確な再構築と、プロンプトに従って編集性を必要とすることのバランスである。 本研究では,テキスト・ツー・イメージ・コンディショニングプロセスの時間的ダイナミクスを探求し,新たな概念の導入における段階分割の重要性を強調した。 本稿では,高忠実度顔のカスタマイズを目的としたステージ制御生成技術であるPersonaMagicを提案する。 簡単なMLPネットワークを用いて、特定の時間間隔内で一連の埋め込みを学習し、顔の概念を捉える。 さらに,テキストエンコーダの自己注意応答を調整し,テキスト記述とアイデンティティ保存のバランスを取り,両領域を改良するタンデム平衡機構を開発した。 定性評価と定量的評価の両方においてペルソナマジックが最先端の手法よりも優れていることを確認する。 さらに、その堅牢性と柔軟性は非界面領域で検証され、事前訓練されたパーソナライズモデルの性能向上のための貴重なプラグインとしても機能する。

関連論文リスト

• Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
  FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。 パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
  論文  参考訳（メタデータ） (2024-11-22T15:21:38Z)
• FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization [24.600720169589334]
  アダプタベースの手法は、顔データに対するテキスト・ツー・イメージのトレーニングによって、肖像画をカスタマイズし、生成する能力を得る。 ベースモデルと比較して、テスト後の能力、制御性、生成した顔の多様性が著しく低下することが多い。 我々は、モデルアーキテクチャとトレーニング戦略の両方に焦点を当てた、非結合トレーニング(FACT)フレームワークによるFace Adapterを提案する。
  論文  参考訳（メタデータ） (2024-10-16T07:25:24Z)
• DreamSalon: A Staged Diffusion Framework for Preserving Identity-Context in Editable Face Generation [34.372331192321944]
  私たちはDreamSalonを紹介します。 詳細な画像操作とアイデンティティ・コンテキスト保存に重点を置いている。 実験では、ドリームサロンが人間の顔の細部を効率よく忠実に編集する能力を示している。
  論文  参考訳（メタデータ） (2024-03-28T08:47:02Z)
• DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
  本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。 高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。 ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。 このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
  論文  参考訳（メタデータ） (2024-03-26T12:53:10Z)
• FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
  アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。 本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-05T11:02:45Z)
• Continual Diffusion with STAMINA: STack-And-Mask INcremental Adapters [67.28751868277611]
  近年の研究では、テキストから画像への拡散モデルを複数の微細な概念に逐次的にカスタマイズできることが示されている。 我々は、新しいタスクを学習する能力が、長いシーケンスで飽和に達することを示す。 本稿では,低ランクの注意マーク付きアダプタとカスタマイズトークンからなるSTAMINA(STack-And-Mask Incremental Adapters)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T18:04:21Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models [19.519789922033034]
  PhotoVerseは、テキストドメインと画像ドメインの両方にデュアルブランチ条件設定機構を組み込んだ革新的な方法論である。 1つのトレーニングフェーズの後、我々の手法は数秒で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-11T19:59:43Z)
• DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
  人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。 また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。 我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T11:01:17Z)
• MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation [57.060828009199646]
  本稿では,ID保存型音声ヘッド生成フレームワークを提案する。 密集したランドマークは、正確な幾何認識フローフィールドを達成するために不可欠であると主張する。 我々は、合成中にソースアイデンティティを適応的に融合させ、画像ポートレートのキー特性をよりよく保存する。
  論文  参考訳（メタデータ） (2022-12-15T18:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。