Fugu-MT 論文翻訳(概要): FaceMe: Robust Blind Face Restoration with Personal Identification

論文の概要: FaceMe: Robust Blind Face Restoration with Personal Identification

arxiv url: http://arxiv.org/abs/2501.05177v1
Date: Thu, 09 Jan 2025 11:52:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-10 13:59:08.147305
Title: FaceMe: Robust Blind Face Restoration with Personal Identification
Title（参考訳）: FaceMe: 個人識別機能付きロバストブラインド顔修復
Authors: Siyu Liu, Zheng-Peng Duan, Jia OuYang, Jiayi Fu, Hyunhee Park, Zikun Liu, Chun-Le Guo, Chongyi Li,
Abstract要約: 拡散モデルに基づく顔復元手法FaceMeを提案する。 1枚または数枚の参照画像が与えられた場合、アイデンティティ関連の特徴を抽出するためにアイデンティティエンコーダを使用し、高品質な顔画像の復元において拡散モデルを導出するためのプロンプトとして機能する。実験結果から,FaceMeは顔の良質な画像の復元が可能であり,顔認証の整合性を保ち,優れた性能とロバスト性を実現していることがわかった。
参考スコア（独自算出の注目度）: 27.295878867436688
License:
Abstract: Blind face restoration is a highly ill-posed problem due to the lack of necessary context. Although existing methods produce high-quality outputs, they often fail to faithfully preserve the individual's identity. In this paper, we propose a personalized face restoration method, FaceMe, based on a diffusion model. Given a single or a few reference images, we use an identity encoder to extract identity-related features, which serve as prompts to guide the diffusion model in restoring high-quality and identity-consistent facial images. By simply combining identity-related features, we effectively minimize the impact of identity-irrelevant features during training and support any number of reference image inputs during inference. Additionally, thanks to the robustness of the identity encoder, synthesized images can be used as reference images during training, and identity changing during inference does not require fine-tuning the model. We also propose a pipeline for constructing a reference image training pool that simulates the poses and expressions that may appear in real-world scenarios. Experimental results demonstrate that our FaceMe can restore high-quality facial images while maintaining identity consistency, achieving excellent performance and robustness.
Abstract（参考訳）: ブラインドフェース修復は、必要なコンテキストが欠如しているため、非常に不適切な問題である。既存の手法は高品質な出力を生成するが、それらはしばしば個人のアイデンティティを忠実に保存することに失敗する。本稿では,拡散モデルに基づく顔復元手法FaceMeを提案する。単一の参照画像または少数の参照画像が与えられた場合、アイデンティティ関連の特徴を抽出するためにアイデンティティエンコーダを使用し、高品質でアイデンティティに一貫性のある顔画像の復元において拡散モデルを導くための手がかりとなる。アイデンティティ関連の特徴を組み合わせることで、トレーニング中のアイデンティティ非関連特徴の影響を効果的に最小化し、推論中の参照画像入力数をサポートする。さらに、アイデンティティエンコーダの堅牢性により、合成画像はトレーニング中に参照画像として使用することができ、推論中のアイデンティティの変更はモデルを微調整する必要がない。また、実世界のシナリオに現れる可能性のあるポーズや表現をシミュレートする参照イメージトレーニングプールを構築するためのパイプラインも提案する。実験結果から,FaceMeは顔の良質な画像の復元が可能であり,顔認証の整合性を保ち,優れた性能とロバスト性を実現していることがわかった。

関連論文リスト

iFADIT: Invertible Face Anonymization via Disentangled Identity Transform [51.123936665445356]
顔の匿名化は、個人のプライバシーを保護するために顔の視覚的アイデンティティを隠すことを目的としている。 Invertible Face Anonymization の頭字語 iFADIT を Disentangled Identity Transform を用いて提案する。
論文参考訳（メタデータ） (2025-01-08T10:08:09Z)
OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文参考訳（メタデータ） (2024-11-26T07:07:48Z)
Face Anonymization Made Simple [44.24233169815565]
現在の顔の匿名化技術は、しばしば、不正確で信頼性の低い顔認識モデルによって計算されたアイデンティティ損失に依存する。対照的に,本手法では再建損失のみを伴う拡散モデルを用いて,顔のランドマークやマスクの必要性を排除している。本モデルは,アイデンティティの匿名化,顔の保存,画質の3つの重要な領域において,最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2024-11-01T17:45:21Z)
FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization [24.600720169589334]
アダプタベースの手法は、顔データに対するテキスト・ツー・イメージのトレーニングによって、肖像画をカスタマイズし、生成する能力を得る。ベースモデルと比較して、テスト後の能力、制御性、生成した顔の多様性が著しく低下することが多い。我々は、モデルアーキテクチャとトレーニング戦略の両方に焦点を当てた、非結合トレーニング(FACT)フレームワークによるFace Adapterを提案する。
論文参考訳（メタデータ） (2024-10-16T07:25:24Z)
FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
論文参考訳（メタデータ） (2024-03-25T17:59:57Z)
StableIdentity: Inserting Anybody into Anywhere at First Sight [57.99693188913382]
一つの顔画像で同一性に一貫性のある再テクスチャ化を可能にするStableIdentityを提案する。私たちは、1つの画像から学んだアイデンティティを直接、微調整なしでビデオ/3D生成に注入する最初の人です。
論文参考訳（メタデータ） (2024-01-29T09:06:15Z)
When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
論文参考訳（メタデータ） (2023-11-29T09:05:14Z)
DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
論文参考訳（メタデータ） (2023-07-01T11:01:17Z)
Learning Facial Representations from the Cycle-consistency of Face [23.23272327438177]
顔特徴の周期一貫性を自由監督信号として導入し、ラベルのない顔画像から顔の表情を学習する。この学習は、顔の動きサイクルの制約とアイデンティティのサイクルの制約を重畳することによって実現される。我々のアプローチは既存の手法と競合し、アンタングル表現に埋め込まれたリッチでユニークな情報を実証する。
論文参考訳（メタデータ） (2021-08-07T11:30:35Z)
VAE/WGAN-Based Image Representation Learning For Pose-Preserving Seamless Identity Replacement In Facial Images [15.855376604558977]
We present a novel variational generative adversarial network (VGAN) based on Wasserstein loss。我々のネットワークは、ポーズ保存されたアイデンティティ・モーフィングとアイデンティティ保存されたポーズ・モーフィングの実行に利用できることを示す。
論文参考訳（メタデータ） (2020-03-02T03:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。