論文の概要: RestorerID: Towards Tuning-Free Face Restoration with ID Preservation
- arxiv url: http://arxiv.org/abs/2411.14125v1
- Date: Thu, 21 Nov 2024 13:50:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-22 15:19:00.363799
- Title: RestorerID: Towards Tuning-Free Face Restoration with ID Preservation
- Title（参考訳）: RestorerID: ID保存による調整不要の顔復元を目指して
- Authors: Jiacheng Ying, Mushui Liu, Zhe Wu, Runming Zhang, Zhu Yu, Siming Fu, Si-Yuan Cao, Chao Wu, Yunlong Yu, Hui-Liang Shen,
- Abstract要約: 本研究では,顔修復時のID保存を取り入れたRestorerIDというチューニング不要な手法を提案する。
そこで本研究では,ID注入とベースブラインド顔復元モデルを組み合わせた統合フレームワークを提案する。
Celeb-Refデータセットと実世界のシナリオの実験結果から、RestorerIDはID保存による高品質な顔復元を効果的に実現することが示された。
- 参考スコア（独自算出の注目度）: 18.022455458259305
- License:
- Abstract: Blind face restoration has made great progress in producing high-quality and lifelike images. Yet it remains challenging to preserve the ID information especially when the degradation is heavy. Current reference-guided face restoration approaches either require face alignment or personalized test-tuning, which are unfaithful or time-consuming. In this paper, we propose a tuning-free method named RestorerID that incorporates ID preservation during face restoration. RestorerID is a diffusion model-based method that restores low-quality images with varying levels of degradation by using a single reference image. To achieve this, we propose a unified framework to combine the ID injection with the base blind face restoration model. In addition, we design a novel Face ID Rebalancing Adapter (FIR-Adapter) to tackle the problems of content unconsistency and contours misalignment that are caused by information conflicts between the low-quality input and reference image. Furthermore, by employing an Adaptive ID-Scale Adjusting strategy, RestorerID can produce superior restored images across various levels of degradation. Experimental results on the Celeb-Ref dataset and real-world scenarios demonstrate that RestorerID effectively delivers high-quality face restoration with ID preservation, achieving a superior performance compared to the test-tuning approaches and other reference-guided ones. The code of RestorerID is available at \url{https://github.com/YingJiacheng/RestorerID}.
- Abstract（参考訳）: ブラインド顔の復元は高品質でライフスタイルの画像を制作する上で大きな進歩を遂げた。
しかし、特に劣化が重い場合、ID情報の保存は依然として困難である。
現在の基準誘導型顔修復アプローチでは、顔のアライメントやパーソナライズされたテストチューニングが必要になる。
本稿では,顔復元時のID保存を取り入れたRestorerIDというチューニング不要な手法を提案する。
RestorerIDは、単一の参照画像を用いて、低画質の画像を様々なレベルの劣化で復元する拡散モデルに基づく手法である。
そこで本研究では,ID注入とベースブラインド顔復元モデルを組み合わせた統合フレームワークを提案する。
さらに,低品質入力と参照画像間の情報衝突に起因するコンテンツ不整合や輪郭不整合の問題に対処するために,新しいFace ID Rebalancing Adapter (FIR-Adapter) を設計する。
さらに、Adaptive ID-Scale Adjusting 戦略を用いることで、RestorerID は様々なレベルの劣化に対して優れた復元画像を生成することができる。
Celeb-Refデータセットと実世界のシナリオによる実験結果から、RestorerIDはID保存による高品質な顔の復元を効果的に実現し、テストチューニングアプローチや他の参照誘導システムと比較して優れたパフォーマンスを実現していることが示された。
RestorerIDのコードは \url{https://github.com/YingJiacheng/RestorerID} で公開されている。
関連論文リスト
- FaceMe: Robust Blind Face Restoration with Personal Identification [27.295878867436688]
拡散モデルに基づく顔復元手法FaceMeを提案する。
1枚または数枚の参照画像が与えられた場合、アイデンティティ関連の特徴を抽出するためにアイデンティティエンコーダを使用し、高品質な顔画像の復元において拡散モデルを導出するためのプロンプトとして機能する。
実験結果から,FaceMeは顔の良質な画像の復元が可能であり,顔認証の整合性を保ち,優れた性能とロバスト性を実現していることがわかった。
論文 参考訳（メタデータ） (2025-01-09T11:52:54Z) - InstantRestore: Single-Step Personalized Face Restoration with Shared-Image Attention [24.635713719257225]
顔画像復元は、多様な劣化タイプ、リアルタイム処理要求、そして最も重要なのは、アイデンティティ固有の特徴の保存といった課題に対処しながら、劣化した顔画像を強化することを目的としている。
InstantRestoreは、ワンステップ画像拡散モデルと、高速かつパーソナライズされた顔復元のためのアテンション共有機構を活用する新しいフレームワークである。
実験では、InstantRestoreは既存の方法よりも品質とスピードが優れており、アイデンティティを保存する顔の復元に魅力的な選択となっている。
論文 参考訳（メタデータ） (2024-12-09T18:43:46Z) - OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - InstantIR: Blind Image Restoration with Instant Generative Reference [10.703499573064537]
本稿では,新しい拡散型BIR法であるInstant-Reference Image Restoration(InstantIR)を紹介する。
まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。
各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。
劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。
論文 参考訳（メタデータ） (2024-10-09T05:15:29Z) - Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model [55.46927355649013]
本稿では,新しいマルチモーダル・リアル・ワールド・フェイス・リカバリ技術を紹介する。
MGFRは偽の顔の特徴とアイデンティティの生成を緩和することができる。
5000のアイデンティティにまたがる23,000以上の高解像度の顔画像からなるReface-HQデータセットを提案する。
論文 参考訳（メタデータ） (2024-10-05T13:46:56Z) - Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration [20.607361871965157]
現状の復元変圧器におけるエイリアスフリーパスを簡易に提供することで、復元性能の低コストでモデルロバスト性を向上させることができることを示す。
本稿では,変換器をベースとした画像復元モデルBOA-Restormerを提案する。このモデルでは,周波数領域の一部でダウンサンプリングとアップサンプリングを行い,モデル全体のエイリアスフリーパスを確保するとともに,関連するすべての高周波情報を保存することができる。
論文 参考訳（メタデータ） (2024-06-11T16:42:17Z) - ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning [57.91881829308395]
AIポートレートや広告といった幅広いアプリケーションシナリオのために、ID-T2I(ID-preserving text-to-image generation)が注目されている。
我々は,ID-T2I性能を向上させるための一般的なフィードバック学習フレームワークである textbfID-Aligner を提案する。
論文 参考訳（メタデータ） (2024-04-23T18:41:56Z) - Towards Authentic Face Restoration with Iterative Diffusion Models and
Beyond [30.114913184727]
我々は$textbfIDM$, $textbfI$teratively learned face restoration systemを$textbfD$iffusionに基づいて提案する。
ブラインドフェイス修復作業における優れた性能を示す。
論文 参考訳（メタデータ） (2023-07-18T06:31:01Z) - High-Fidelity GAN Inversion for Image Attribute Editing [61.966946442222735]
本稿では,画像固有の詳細をよく保存した属性編集を可能にする,GAN(High-fidelity Generative Adversarial Network)インバージョンフレームワークを提案する。
低ビットレートの遅延符号では、再構成された画像や編集された画像の高忠実度の詳細を保存することは困難である。
高忠実度復元のための基準として歪みマップを用いる歪みコンサルテーション手法を提案する。
論文 参考訳（メタデータ） (2021-09-14T11:23:48Z) - Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。
実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
論文 参考訳（メタデータ） (2020-10-12T08:04:24Z) - Real-world Person Re-Identification via Degradation Invariance Learning [111.86722193694462]
現実のシナリオにおける人物再識別(Re-ID)は通常、低解像度、弱い照明、ぼやけ、悪天候などの様々な劣化要因に悩まされる。
本稿では,現実世界のRe-IDを対象とした劣化不変学習フレームワークを提案する。
自己教師付き不整合表現学習戦略を導入することにより,個人性に関連する頑健な特徴を同時に抽出することができる。
論文 参考訳（メタデータ） (2020-04-10T07:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。