論文の概要: AIFR: Adaptive Identity Feature Recovery for Diffusion-Based Makeup and Anime Portraits
- arxiv url: http://arxiv.org/abs/2611.15764v1
- Date: Wed, 11 Nov 2026 17:41:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.206547
- Title: AIFR: Adaptive Identity Feature Recovery for Diffusion-Based Makeup and Anime Portraits
- Title(参考訳): AIFR: 拡散ベースのメイクアップとアニメのポートレイトのための適応アイデンティティ機能回復
- Abstract要約: 拡散ベースのメイクアップとアニメの肖像画は、オンラインコンテンツ制作でますます人気がある。
彼らの外見の変化は、アイデンティティベースのコンテンツスクリーニングにおける顔認識を妨げる可能性がある。
凍結FRモデル内の特徴を正すための適応ID特徴回復(AIFR)を提案する。
トレーニング可能なパラメータはわずか 1.22M であり、AIFR は FAR=10-4$ の平均 TAR を 66.1% から 90.2% に改善した。
- 参考スコア(独自算出の注目度): 14.437983055568267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion-based makeup and anime portraits are increasingly popular in online content creation (e.g., virtual makeup editing and anime avatar generation), but their altered appearances can hinder face recognition (FR) in identity-based content screening. Existing methods mainly adapt FR encoders or restore input images. The former require costly gallery re-encoding, while the latter may be incomplete or distort identity-related facial details. To address these limitations, we aim to correct identity features within a frozen FR model to recover its output embeddings in its original space. Appearance changes vary in strength and affect facial regions differently. To this end, we propose Adaptive Identity Feature Recovery (AIFR), a framework that inserts a lightweight recovery module at a single intermediate layer to predict sample-level correction strength and spatially adaptive residual updates. Module training uses fused identity targets to guide embedding recovery in the original FR space and an identity-shift score to regulate correction strength and limit unnecessary changes. At inference, AIFR processes a single portrait in one forward pass without reference images, producing recovered embeddings that can be directly matched with existing gallery templates without re-encoding. With only 1.22M trainable parameters, AIFR improves the average TAR at FAR=$10^{-4}$ from 66.1\% to 90.2\% over the original ArcFace, and further experiments show improvements across unseen makeup styles, stylization strengths, and generators. Beyond recognition, the recovered embeddings can directly condition a pretrained Arc2Face model to generate faces with improved identity preservation, showing compatibility with embedding-conditioned downstream generation.
- Abstract(参考訳): 拡散ベースのメイクアップとアニメの肖像画は、オンラインコンテンツ作成(例えば、仮想メイクアップ編集やアニメアバター生成)でますます人気があるが、その外見の変化は、アイデンティティベースのコンテンツスクリーニングにおける顔認識(FR)を妨げる可能性がある。
既存の方法は主にFRエンコーダに適応するか、入力イメージを復元する。
前者はコストのかかるギャラリー再エンコーディングを必要とし、後者は不完全なか、アイデンティティに関連する顔の詳細を歪ませる可能性がある。
これらの制約に対処するため,凍結FRモデル内の同一性を補正し,出力の埋め込みを元の空間に戻すことを目的とする。
外観の変化は強さに変化があり、顔領域に異なる影響を及ぼす。
そこで本研究では,単一中間層に軽量回復モジュールを挿入し,サンプルレベルの補正強度と空間適応残差更新を予測するフレームワークであるAdaptive Identity Feature Recovery (AIFR)を提案する。
モジュールトレーニングでは、融合IDターゲットを使用して、元のFR空間への埋め込みリカバリと、修正強度の調整と不要な変更の制限のためにアイデンティティシフトスコアを導出する。
推論では、AIFRは参照イメージなしで単一のポートレートを1つのフォワードパスで処理し、再エンコーディングせずに既存のギャラリーテンプレートと直接マッチング可能な、回復した埋め込みを生成する。
トレーニング可能なパラメータはわずか1.22Mであり、AIFRはFAR=$10^{-4}$の平均TARをオリジナルのArcFaceよりも66.1\%から90.2\%に改善した。
認識以外にも、回復した埋め込みは、トレーニング済みのArc2Faceモデルを直接条件付けして、ID保存を改善した顔を生成し、埋め込み条件の下流生成との互換性を示す。
関連論文リスト
- LatRef-Diff: Latent and Reference-Guided Diffusion for Facial Attribute Editing and Style Manipulation [78.6161238980415]
条件付きGANは進歩しているものの、精度の問題やトレーニング不安定性によって制限されている。
これらの制約に対処する新しい拡散ベースのフレームワークであるLatRef-Diffを提案する。
本稿では,LatRef-Diffが定性評価と定量的評価の両方において最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2026-04-23T04:47:40Z) - A2BFR: Attribute-Aware Blind Face Restoration [48.06304429343643]
ブラインド顔復元(BFR)は、劣化した入力から高品質な顔画像の復元を目的としている。
近年の拡散型BFR法は知覚品質を向上させるが制御不能である。
本稿では,属性を意識したBFRフレームワークであるA$2$BFRを提案する。
論文 参考訳(メタデータ) (2026-03-31T08:29:04Z) - CLIP-FTI: Fine-Grained Face Template Inversion via CLIP-Driven Attribute Conditioning [15.01028853162385]
顔認識システムは、効率的なマッチングのために顔テンプレートを格納する。
逆転することでプライバシーを侵害し、偽装を可能にするサロゲートが生成される。
顔テンプレートインバージョンのためのCLIP駆動の微粒化属性条件付けフレームワークであるCLIP-FTIを提案する。
論文 参考訳(メタデータ) (2025-12-17T13:26:34Z) - Robust ID-Specific Face Restoration via Alignment Learning [14.7430941613282]
本稿では,拡散モデルに基づく新しい顔復元フレームワークであるRobust ID-Specific Face Restoration (RIDFR)を提案する。
RIDFRにはアライメント・ラーニング(Alignment Learning)が組み込まれており、複数の参照からの復元結果を同一のアイデンティティと整合させて、ID非関連顔のセマンティクスの干渉を抑制する。
実験により、我々のフレームワークは最先端の手法よりも優れており、高品質なID固有の結果を高いアイデンティティの忠実度で再現し、強靭性を示す。
論文 参考訳(メタデータ) (2025-07-15T03:16:12Z) - LAFR: Efficient Diffusion-based Blind Face Restoration via Latent Codebook Alignment Adapter [52.93785843453579]
低品質(LQ)画像からのブラインド顔復元は、高忠実度画像再構成と顔認証の保存を必要とする課題である。
LAFRは,LQ画像の潜時分布とHQ画像の潜時分布を一致させる,新しいコードブックベースの潜時空間アダプタである。
FFHQデータセットのわずか0.9%での拡散の軽量な微調整は、最先端の手法に匹敵する結果を得るのに十分であることを示す。
論文 参考訳(メタデータ) (2025-05-29T14:11:16Z) - DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。
高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。
ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。
このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
論文 参考訳(メタデータ) (2024-03-26T12:53:10Z) - CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using
Score-Based Diffusion Models [57.9771859175664]
最近の生成優先法は、有望なブラインドフェイス修復性能を示している。
入力に忠実なきめ細かい顔の詳細を生成することは、依然として難しい問題である。
本稿では,VQGANアーキテクチャの内部に拡散型プライマーを導入し,非破壊な潜伏埋め込みにおける分布の学習に重点を置いている。
論文 参考訳(メタデータ) (2024-02-08T23:51:49Z) - Effective Adapter for Face Recognition in the Wild [72.75516495170199]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。
従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。
高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文 参考訳(メタデータ) (2023-12-04T08:55:46Z) - Overparameterization Improves StyleGAN Inversion [66.8300251627992]
既存の反転アプローチは、有望だが不完全な結果が得られる。
これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。
われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
論文 参考訳(メタデータ) (2022-05-12T18:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。