論文の概要: Identity Encoder for Personalized Diffusion

• arxiv url: http://arxiv.org/abs/2304.07429v1
• Date: Fri, 14 Apr 2023 23:32:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 19:11:56.916397
• Title: Identity Encoder for Personalized Diffusion
• Title（参考訳）: 個人化拡散のためのアイデンティティエンコーダ
• Authors: Yu-Chuan Su, Kelvin C.K. Chan, Yandong Li, Yang Zhao, Han Zhang, Boqing Gong, Huisheng Wang, Xuhui Jia
• Abstract要約: パーソナライズのためのエンコーダに基づくアプローチを提案する。 我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダを学習する。 提案手法は画像生成と再構成の両方において既存の微調整に基づくアプローチより一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 57.1198884486401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many applications can benefit from personalized image generation models, including image enhancement, video conferences, just to name a few. Existing works achieved personalization by fine-tuning one model for each person. While being successful, this approach incurs additional computation and storage overhead for each new identity. Furthermore, it usually expects tens or hundreds of examples per identity to achieve the best performance. To overcome these challenges, we propose an encoder-based approach for personalization. We learn an identity encoder which can extract an identity representation from a set of reference images of a subject, together with a diffusion generator that can generate new images of the subject conditioned on the identity representation. Once being trained, the model can be used to generate images of arbitrary identities given a few examples even if the model hasn't been trained on the identity. Our approach greatly reduces the overhead for personalized image generation and is more applicable in many potential applications. Empirical results show that our approach consistently outperforms existing fine-tuning based approach in both image generation and reconstruction, and the outputs is preferred by users more than 95% of the time compared with the best performing baseline.
• Abstract（参考訳）: 多くのアプリケーションは、画像拡張やビデオ会議など、パーソナライズされた画像生成モデルの恩恵を受けることができる。 既存の作品は、個人ごとに1つのモデルを微調整することでパーソナライズされた。 このアプローチは成功したが、新しいアイデンティティごとに計算とストレージのオーバーヘッドが増大する。 さらに、最高のパフォーマンスを達成するために、通常、アイデンティティ毎に数十から数百のサンプルを期待します。 これらの課題を克服するために,パーソナライズのためのエンコーダベースのアプローチを提案する。 我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダと、該アイデンティティ表現に条件付けられた被写体の新たな画像を生成する拡散生成器とを学習する。 トレーニングが完了すると、モデルがIDに基づいてトレーニングされていなくても、いくつかの例から任意のIDの画像を生成するためにモデルを使用できる。 我々のアプローチは、パーソナライズされた画像生成のオーバーヘッドを大幅に減らし、多くの潜在的なアプリケーションに適用できる。 実験結果から,提案手法は画像生成と再構成の両方において既存の微調整手法より一貫して優れており,処理時間の95%以上をユーザが好んでいることがわかった。

関連論文リスト

• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Synthesizing Efficient Data with Diffusion Models for Person Re-Identification Pre-Training [51.87027943520492]
  本稿では,既知の同一性に基づく多様な画像の効率向上と生成を行う新しいパラダイムDiffusion-ReIDを提案する。 提案したパラダイムに適合して,まず,5,183個のIDから777K以上の画像で構成された,大規模なRe-IDデータセットDiff-Personを新たに作成する。
  論文  参考訳（メタデータ） (2024-06-10T06:26:03Z)
• Identity Decoupling for Multi-Subject Personalization of Text-to-Image Models [66.05234562835136]
  マルチオブジェクトパーソナライズを可能にする新しいフレームワークである MuDI を提案する。 本研究の主な目的は,セグメンテーションのための基礎モデルによって生成されたセグメンテーションの活用である。 実験結果から,MuDIは同一性ミキシングを伴わずに高品質なパーソナライズされたイメージを生成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-05T17:45:22Z)
• LCM-Lookahead for Encoder-based Text-to-Image Personalization [82.56471486184252]
  我々は,テキスト・ツー・イメージ・モデルのパーソナライズを導くために,ショートカット・メカニズムを利用する可能性を探る。 エンコーダをベースとしたパーソナライズ手法に焦点をあてて、ルックアヘッドのアイデンティティ損失を調整することで、より高いアイデンティティの忠実性を達成できることを実証する。
  論文  参考訳（メタデータ） (2024-04-04T17:43:06Z)
• IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models [31.762112403595612]
  IDAdapterは、単一の顔画像からパーソナライズされた画像生成における多様性とアイデンティティの保存を強化する、チューニング不要なアプローチである。 トレーニング期間中、特定のアイデンティティの複数の参照画像から混合した特徴を取り入れ、アイデンティティ関連コンテンツの詳細を充実させる。
  論文  参考訳（メタデータ） (2024-03-20T12:13:04Z)
• PortraitBooth: A Versatile Portrait Model for Fast Identity-preserved Personalization [92.90392834835751]
  PortraitBoothは高効率、堅牢なID保存、表現編集可能な画像生成のために設計されている。 PortraitBoothは計算オーバーヘッドを排除し、アイデンティティの歪みを軽減する。 生成した画像の多様な表情に対する感情認識のクロスアテンション制御が組み込まれている。
  論文  参考訳（メタデータ） (2023-12-11T13:03:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。