論文の概要: Toward Tiny and High-quality Facial Makeup with Data Amplify Learning

• arxiv url: http://arxiv.org/abs/2403.15033v4
• Date: Wed, 25 Sep 2024 10:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 03:48:22.308639
• Title: Toward Tiny and High-quality Facial Makeup with Data Amplify Learning
• Title（参考訳）: データ増幅学習による簡潔で高品質な顔作り
• Authors: Qiaoqiao Jin, Xuanhong Chen, Meiguang Jin, Ying Chen, Rui Shi, Yucheng Zheng, Yupeng Zhu, Bingbing Ni,
• Abstract要約: 小型メイクモデル「TinyBeauty」とともに「データ増幅学習」を提案する。 DALの中核となる考え方は、DDA(Diffusion-based Data Amplifier)を使用して、モデルトレーニングのために制限されたイメージを"増幅"することにある。 TinyBeautyはiPhone 13で460fpsという驚くべき速度を実現している。
• 参考スコア（独自算出の注目度）: 40.42511481892363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contemporary makeup approaches primarily hinge on unpaired learning paradigms, yet they grapple with the challenges of inaccurate supervision (e.g., face misalignment) and sophisticated facial prompts (including face parsing, and landmark detection). These challenges prohibit low-cost deployment of facial makeup models, especially on mobile devices. To solve above problems, we propose a brand-new learning paradigm, termed "Data Amplify Learning (DAL)," alongside a compact makeup model named "TinyBeauty." The core idea of DAL lies in employing a Diffusion-based Data Amplifier (DDA) to "amplify" limited images for the model training, thereby enabling accurate pixel-to-pixel supervision with merely a handful of annotations. Two pivotal innovations in DDA facilitate the above training approach: (1) A Residual Diffusion Model (RDM) is designed to generate high-fidelity detail and circumvent the detail vanishing problem in the vanilla diffusion models; (2) A Fine-Grained Makeup Module (FGMM) is proposed to achieve precise makeup control and combination while retaining face identity. Coupled with DAL, TinyBeauty necessitates merely 80K parameters to achieve a state-of-the-art performance without intricate face prompts. Meanwhile, TinyBeauty achieves a remarkable inference speed of up to 460 fps on the iPhone 13. Extensive experiments show that DAL can produce highly competitive makeup models using only 5 image pairs.
• Abstract（参考訳）: 現代の化粧は、主に障害のない学習パラダイムにヒンジでアプローチするが、不正確な監督(例えば、顔の修正)と洗練された顔のプロンプト(顔解析、ランドマーク検出を含む)の課題に対処する。 これらの課題は、特にモバイルデバイスにおける顔化粧モデルの低コスト展開を禁止している。 以上の問題を解決するために、我々は「データ増幅学習(DAL)」と呼ばれる新しい学習パラダイムを提案し、さらに「TinyBeauty」というコンパクトメイクモデルも提案する。 DALの中核となる考え方は、DDA(Diffusion-based Data Amplifier)を使用して、モデルトレーニングのための制限されたイメージを"増幅する"ことである。 1)残差拡散モデル(RDM)は、高忠実度の詳細を生成し、バニラ拡散モデルにおける詳細化問題を回避し、(2)ファイングラインドメイクアップモジュール(FGMM)は、顔認証を維持しながら正確なメイクアップ制御と組み合わせを実現するために提案されている。 DALと組み合わせて、TinyBeautyは80Kパラメータを必要とせず、複雑な顔プロンプトなしで最先端のパフォーマンスを実現する。 一方、TinyBeautyはiPhone 13で460fpsという驚くべき速度を実現している。 大規模な実験により、DALは5つの画像ペアだけで非常に競争力のあるメイクモデルを作成できることが示された。

関連論文リスト

• Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
  フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。 インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。 私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
  論文  参考訳（メタデータ） (2024-09-11T13:43:53Z)
• Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
  モデルアタック(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。 従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。 これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
  論文  参考訳（メタデータ） (2024-07-16T06:38:49Z)
• Makeup Prior Models for 3D Facial Makeup Estimation and Applications [2.9748898344267776]
  既存の3次元顔前モデルを拡張するために,PCAベースとStyleGAN2ベースという2種類の化粧前モデルを導入する。 実験では,計算コストを数桁削減し,最大180倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-03-26T14:51:53Z)
• DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration [62.44659039265439]
  視覚障害者の視力回復を支援するための拡散情報拡散フレームワークを提案する。 DiffMACは、多種多様な劣化シーンと異種ドメインにおいて、高度な顔の復元を実現する。 結果は,最先端手法よりもDiffMACの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-15T08:44:15Z)
• Adversarial Diffusion Distillation [18.87099764514747]
  逆拡散蒸留(adversarial Diffusion Distillation、ADD)は、1-4ステップで大規模な基礎画像拡散モデルを効率的にサンプリングする新しい訓練手法である。 我々は,大規模なオフザシェルフ画像拡散モデルを教師信号として活用するために,スコア蒸留を用いる。 本モデルでは,既存の数ステップ法を1ステップで明らかに上回り,4ステップで最先端拡散モデル(SDXL)の性能に到達する。
  論文  参考訳（メタデータ） (2023-11-28T18:53:24Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Cosmetic-Aware Makeup Cleanser [109.41917954315784]
  顔認証は、一対の顔画像が同一のアイデンティティに属するかどうかを判定することを目的としている。 最近の研究では、顔の化粧が検証性能に悪影響を及ぼすことが明らかになっている。 本稿では,異なるポーズや表情で顔の化粧を除去する意味認識型化粧清浄器(SAMC)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T09:18:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。