論文の概要: FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization

• arxiv url: http://arxiv.org/abs/2410.12312v2
• Date: Fri, 25 Oct 2024 06:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:35:09.192950
• Title: FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization
• Title（参考訳）: FaceChain-FACT:ID保存型パーソナライゼーションのための非結合トレーニングによる顔適応
• Authors: Cheng Yu, Haoyu Xie, Lei Shang, Yang Liu, Jun Dan, Liefeng Bo, Baigui Sun,
• Abstract要約: アダプタベースの手法は、顔データに対するテキスト・ツー・イメージのトレーニングによって、肖像画をカスタマイズし、生成する能力を得る。 ベースモデルと比較して、テスト後の能力、制御性、生成した顔の多様性が著しく低下することが多い。 我々は、モデルアーキテクチャとトレーニング戦略の両方に焦点を当てた、非結合トレーニング(FACT)フレームワークによるFace Adapterを提案する。
• 参考スコア（独自算出の注目度）: 24.600720169589334
• License:
• Abstract: In the field of human-centric personalized image generation, the adapter-based method obtains the ability to customize and generate portraits by text-to-image training on facial data. This allows for identity-preserved personalization without additional fine-tuning in inference. Although there are improvements in efficiency and fidelity, there is often a significant performance decrease in test following ability, controllability, and diversity of generated faces compared to the base model. In this paper, we analyze that the performance degradation is attributed to the failure to decouple identity features from other attributes during extraction, as well as the failure to decouple the portrait generation training from the overall generation task. To address these issues, we propose the Face Adapter with deCoupled Training (FACT) framework, focusing on both model architecture and training strategy. To decouple identity features from others, we leverage a transformer-based face-export encoder and harness fine-grained identity features. To decouple the portrait generation training, we propose Face Adapting Increment Regularization~(FAIR), which effectively constrains the effect of face adapters on the facial region, preserving the generative ability of the base model. Additionally, we incorporate a face condition drop and shuffle mechanism, combined with curriculum learning, to enhance facial controllability and diversity. As a result, FACT solely learns identity preservation from training data, thereby minimizing the impact on the original text-to-image capabilities of the base model. Extensive experiments show that FACT has both controllability and fidelity in both text-to-image generation and inpainting solutions for portrait generation.
• Abstract（参考訳）: 人間中心のパーソナライズされた画像生成の分野では、アダプタベースの手法により、顔データに対するテキスト・ツー・イメージ・トレーニングにより、肖像画をカスタマイズし、生成することができる。 これにより、推論に微調整を加えることなく、アイデンティティ保存のパーソナライズが可能になる。 効率性と忠実度は向上するが、基礎モデルと比較してテスト後の能力、制御性、生成した顔の多様性が著しく低下することが多い。 本稿では,抽出中の特徴特徴と他の属性とを分離できないこと,および全体生成タスクからポートレート生成トレーニングを分離できないことに起因する性能劣化を解析する。 これらの問題に対処するために、モデルアーキテクチャとトレーニング戦略の両方に焦点を当てた、非結合トレーニング(FACT)フレームワークによるFace Adapterを提案する。 識別機能を他のものと分離するために、トランスフォーマーベースの顔エクスポートエンコーダを活用し、きめ細かい識別機能を利用する。 ポートレート生成トレーニングを分離するために,顔適応インクリメント正規化~(FAIR)を提案し,顔適応が顔領域に与える影響を効果的に抑制し,ベースモデルの生成能力を維持する。 さらに,顔の状態の低下とシャッフル機構をカリキュラム学習と組み合わせることで,顔の制御性と多様性を向上させる。 その結果、FACTはトレーニングデータからアイデンティティの保存のみを学習し、ベースモデルのオリジナルのテキスト・ツー・イメージ能力への影響を最小限に抑えることができる。 広汎な実験により、FACTはテキスト・画像生成とポートレート生成のインパインティング・ソリューションの両方において、制御性と忠実性を持っていることが示された。

関連論文リスト

• Face Adapter for Pre-Trained Diffusion Models with Fine-Grained ID and Attribute Control [59.954322727683746]
  Face-Adapterは、事前訓練された拡散モデルのための高精度で忠実な顔編集のために設計されている。 Face-Adapterは、モーションコントロールの精度、ID保持能力、生成品質の点で同等またはそれ以上の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-21T17:50:12Z)
• Face2Diffusion for Fast and Editable Face Personalization [33.65484538815936]
  顔のパーソナライズのためのFace2Diffusion(F2D)を提案する。 F2Dの背後にある中核的な考え方は、トレーニングパイプラインからアイデンティティ非関連情報を削除することで、オーバーフィッティングの問題を防ぐことである。 F2Dは以下の3つの新しい構成要素から構成される。
  論文  参考訳（メタデータ） (2024-03-08T06:46:01Z)
• StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
  一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。 私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
  論文  参考訳（メタデータ） (2024-01-29T09:06:15Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
  人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。 また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。 我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T11:01:17Z)
• DiffFace: Diffusion-based Face Swapping with Facial Guidance [24.50570533781642]
  DiffFaceと呼ばれる拡散型顔交換フレームワークを初めて提案する。 トレーニングID条件DDPM、顔誘導によるサンプリング、および目標保存ブレンディングで構成されている。 DiffFaceは、トレーニングの安定性、高い忠実度、サンプルの多様性、制御性など、よりよいメリットを実現している。
  論文  参考訳（メタデータ） (2022-12-27T02:51:46Z)
• FaceDancer: Pose- and Occlusion-Aware High Fidelity Face Swapping [62.38898610210771]
  そこで我々は,FaceDancerという顔のスワップとID転送のための新しい単一ステージ手法を提案する。 アダプティブ・フィーチャー・フュージョン・アテンション(AFFA)と解釈的特徴類似性規則化(IFSR)の2つの主要なコントリビューションがある。
  論文  参考訳（メタデータ） (2022-10-19T11:31:38Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。