Fugu-MT 論文翻訳(概要): Personalized Restoration via Dual-Pivot Tuning

論文の概要: Personalized Restoration via Dual-Pivot Tuning

arxiv url: http://arxiv.org/abs/2312.17234v1
Date: Thu, 28 Dec 2023 18:57:49 GMT
ステータス: 処理完了
システム内更新日: 2023-12-29 14:30:58.140019
Title: Personalized Restoration via Dual-Pivot Tuning
Title（参考訳）: Dual-Pivot Tuningによるパーソナライズド修復
Authors: Pradyumna Chari, Sizhuo Ma, Daniil Ostashev, Achuta Kadambi, Gurunandan Krishnan, Jian Wang, Kfir Aberman
Abstract要約: そこで我々は、Dual-Pivot Tuningと呼ばれるパーソナライズされた復元方法を提案する。私たちのキーとなる観察は、最適なパーソナライズのために、生成モデルは固定されたテキストピボットを中心に調整されるべきであるということです。このアプローチは、パーソナライゼーションが復元プロセスに干渉しないことを保証し、結果として、人物のアイデンティティと劣化した画像の属性に忠実な自然な外観をもたらす。
参考スコア（独自算出の注目度）: 18.912158172904654
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative diffusion models can serve as a prior which ensures that solutions of image restoration systems adhere to the manifold of natural images. However, for restoring facial images, a personalized prior is necessary to accurately represent and reconstruct unique facial features of a given individual. In this paper, we propose a simple, yet effective, method for personalized restoration, called Dual-Pivot Tuning - a two-stage approach that personalize a blind restoration system while maintaining the integrity of the general prior and the distinct role of each component. Our key observation is that for optimal personalization, the generative model should be tuned around a fixed text pivot, while the guiding network should be tuned in a generic (non-personalized) manner, using the personalized generative model as a fixed ``pivot". This approach ensures that personalization does not interfere with the restoration process, resulting in a natural appearance with high fidelity to the person's identity and the attributes of the degraded image. We evaluated our approach both qualitatively and quantitatively through extensive experiments with images of widely recognized individuals, comparing it against relevant baselines. Surprisingly, we found that our personalized prior not only achieves higher fidelity to identity with respect to the person's identity, but also outperforms state-of-the-art generic priors in terms of general image quality. Project webpage: https://personalized-restoration.github.io
Abstract（参考訳）: 生成拡散モデルは、画像復元システムの解が自然画像の多様体に付着することを保証する事前として機能する。しかし、顔画像の復元には、個人固有の顔の特徴を正確に表現し、再構成するために、パーソナライズされた事前が必要である。本稿では,本研究で提案する2段階のアプローチであるdual-pivot tuning (dual-pivot tuning) と呼ばれるパーソナライズ修復のための簡易かつ効果的な手法を提案する。我々のキーとなる観察は、最適なパーソナライゼーションのために、生成モデルは固定されたテキストピボットを中心に調整されるべきであり、一方で誘導ネットワークは、パーソナライズされた生成モデルを固定された「ピボット」として、汎用的な(個人化されていない)方法で調整されるべきである。このアプローチは、パーソナライゼーションが復元プロセスに干渉しないことを保証し、結果として人物のアイデンティティと劣化した画像の属性に忠実な自然な外観をもたらす。我々は,広く認識されている人物の画像を用いて,定性的かつ定量的に評価し,関連するベースラインと比較した。驚くべきことに、私たちのパーソナライズされたプライオリティは、人のアイデンティティに関してアイデンティティに対する高い忠実度を達成できるだけでなく、一般的な画質で最先端のジェネリックプライオリティよりも優れています。プロジェクトWebページ: https://personalized-restoration.github.io

関連論文リスト

Foundation Cures Personalization: Recovering Facial Personalized Models' Prompt Consistency [33.35678923549471]
FreeCureは、基礎モデル自体から固有の知識を活用して、パーソナライゼーションモデルの迅速な一貫性を改善する、トレーニング不要のフレームワークである。パーソナライズモデルの出力における複数の属性を、新しいノイズブリーディング戦略と反転に基づくプロセスによって強化する。
論文参考訳（メタデータ） (2024-11-22T15:21:38Z)
Imagine yourself: Tuning-Free Personalized Image Generation [39.63411174712078]
私たちは、パーソナライズされた画像生成用に設計された最先端のモデルであるImagine yourselfを紹介します。チューニング不要のモデルとして機能し、個別に調整することなく、すべてのユーザが共有フレームワークを活用できる。我々の研究は、Imagine自身が最先端のパーソナライズモデルを超え、アイデンティティ保存、視覚的品質、テキストアライメントにおいて優れた能力を示すことを示した。
論文参考訳（メタデータ） (2024-09-20T09:21:49Z)
JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
論文参考訳（メタデータ） (2024-07-08T17:59:02Z)
PFStorer: Personalized Face Restoration and Super-Resolution [19.479263766534345]
顔修復の最近の進歩は、高品質でライフスタイルのアウトプットを生み出すことに顕著な成果を上げている。しかし、驚くべき結果は、モデルに必要なコンテキストが欠如しているため、人のアイデンティティに忠実でないことがしばしばあります。提案手法では, 個人像を用いて復元モデルをパーソナライズし, 詳細な情報を保持しつつ, 個人像に対して調整した復元を行う。
論文参考訳（メタデータ） (2024-03-13T11:39:30Z)
PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization [92.90392834835751]
PortraitBoothは高効率、堅牢なID保存、表現編集可能な画像生成のために設計されている。 PortraitBoothは計算オーバーヘッドを排除し、アイデンティティの歪みを軽減する。生成した画像の多様な表情に対する感情認識のクロスアテンション制御が組み込まれている。
論文参考訳（メタデータ） (2023-12-11T13:03:29Z)
FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
論文参考訳（メタデータ） (2023-12-05T11:02:45Z)
Effective Adapter for Face Recognition in the Wild [72.75516495170199]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文参考訳（メタデータ） (2023-12-04T08:55:46Z)
Identity Encoder for Personalized Diffusion [57.1198884486401]
パーソナライズのためのエンコーダに基づくアプローチを提案する。我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダを学習する。提案手法は画像生成と再構成の両方において既存の微調整に基づくアプローチより一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-04-14T23:32:24Z)
MetaPortrait: Identity-Preserving Talking Head Generation with Fast Personalized Adaptation [57.060828009199646]
本稿では,ID保存型音声ヘッド生成フレームワークを提案する。密集したランドマークは、正確な幾何認識フローフィールドを達成するために不可欠であると主張する。我々は、合成中にソースアイデンティティを適応的に融合させ、画像ポートレートのキー特性をよりよく保存する。
論文参考訳（メタデータ） (2022-12-15T18:59:33Z)
Learning Dual Memory Dictionaries for Blind Face Restoration [75.66195723349512]
最近の研究は、主に2つの側面、すなわち、ジェネリックと特定の修復を別々に扱う。本稿では,2つの辞書を通したジェネリックおよび特定の特徴を明示的に記憶することでDMDNetを提案する。 CelebRef-HQと呼ばれる新しい高品質なデータセットは、高解像度空間における特定の顔復元の探索を促進するために構築されている。
論文参考訳（メタデータ） (2022-10-15T01:55:41Z)
MyStyle: A Personalized Generative Prior [38.3436972491162]
MyStyleはパーソナライズされたディープジェネレーティブで、個人を数枚のショットで訓練する。 MyStyleは、特定の人の画像を再構成、拡張、編集することができる。
論文参考訳（メタデータ） (2022-03-31T17:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。