論文の概要: Inv-Adapter: ID Customization Generation via Image Inversion and Lightweight Adapter

• arxiv url: http://arxiv.org/abs/2406.02881v2
• Date: Thu, 6 Jun 2024 06:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 19:34:24.460252
• Title: Inv-Adapter: ID Customization Generation via Image Inversion and Lightweight Adapter
• Title（参考訳）: Inv-Adapter:画像インバージョンと軽量アダプタによるIDカスタマイズ生成
• Authors: Peng Xing, Ning Wang, Jianbo Ouyang, Zechao Li,
• Abstract要約: Inv-Adapter は,DDIM 画像の逆変換により事前学習したテキスト・ツー・イメージモデルを用いて,ID 画像の拡散領域表現を抽出する。 抽出したIDの高アライメントとテキスト・ツー・イメージ・モデルの中間的特徴から、それらをベース・テキスト・ツー・イメージ・モデルに効率的に組み込む。 提案したInv-Adapterは,IDのカスタマイズ生成とモデルスケールにおいて高い競争力を持つことを示す。
• 参考スコア（独自算出の注目度）: 23.690420512911146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable advancement in text-to-image generation models significantly boosts the research in ID customization generation. However, existing personalization methods cannot simultaneously satisfy high fidelity and high-efficiency requirements. Their main bottleneck lies in the prompt image encoder, which produces weak alignment signals with the text-to-image model and significantly increased model size. Towards this end, we propose a lightweight Inv-Adapter, which first extracts diffusion-domain representations of ID images utilizing a pre-trained text-to-image model via DDIM image inversion, without additional image encoder. Benefiting from the high alignment of the extracted ID prompt features and the intermediate features of the text-to-image model, we then embed them efficiently into the base text-to-image model by carefully designing a lightweight attention adapter. We conduct extensive experiments to assess ID fidelity, generation loyalty, speed, and training parameters, all of which show that the proposed Inv-Adapter is highly competitive in ID customization generation and model scale.
• Abstract（参考訳）: テキスト・画像生成モデルの顕著な進歩は、IDカスタマイズ生成の研究を著しく加速させる。 しかし、既存のパーソナライズ手法は、高い忠実度と高効率要件を同時に満たすことはできない。 その主なボトルネックはプロンプト画像エンコーダであり、テキスト・ツー・イメージモデルと弱いアライメント信号を生成し、モデルサイズを大幅に増大させる。 そこで本研究では,ID画像の拡散領域表現をDDIM画像の逆変換により抽出する軽量なInv-Adapterを提案する。 抽出したIDの高アライメントとテキスト・ツー・イメージ・モデルの中間的特徴から恩恵を受け、軽量アテンション・アダプタを慎重に設計し、それらをベース・テキスト・ツー・イメージ・モデルに効率的に組み込む。 提案したInv-Adapterは,IDのカスタマイズ生成とモデルスケールにおいて高い競争力を持つことを示す。

関連論文リスト

• ID-Aligner: Enhancing Identity-Preserving Text-to-Image Generation with Reward Feedback Learning [57.91881829308395]
  AIポートレートや広告といった幅広いアプリケーションシナリオのために、ID-T2I(ID-preserving text-to-image generation)が注目されている。 我々は,ID-T2I性能を向上させるための一般的なフィードバック学習フレームワークである textbfID-Aligner を提案する。
  論文  参考訳（メタデータ） (2024-04-23T18:41:56Z)
• Infinite-ID: Identity-preserved Personalization via ID-semantics Decoupling Paradigm [31.06269858216316]
  アイデンティティ保存型パーソナライゼーションのためのID-セマンティックデカップリングパラダイムであるInfinite-IDを提案する。 我々は、十分なID情報を取得するために、追加のイメージクロスアテンションモジュールを組み込んだアイデンティティ強化トレーニングを導入する。 また、2つのストリームをシームレスにマージするために、混合アテンションモジュールとAdaIN平均演算を組み合わせた機能相互作用機構を導入する。
  論文  参考訳（メタデータ） (2024-03-18T13:39:53Z)
• InstantID: Zero-shot Identity-Preserving Generation in Seconds [21.04236321562671]
  我々はID埋め込みのための強力な拡散モデルに基づくソリューションであるInstantIDを紹介する。 我々のプラグイン・アンド・プレイ・モジュールは、1つの顔画像だけで様々なスタイルで画像のパーソナライズ処理を行う。 私たちの仕事はSD1.5やSDXLのような、トレーニング済みのテキストと画像の拡散モデルとシームレスに統合されます。
  論文  参考訳（メタデータ） (2024-01-15T07:50:18Z)
• I2V-Adapter: A General Image-to-Video Adapter for Diffusion Models [80.32562822058924]
  テキスト誘導画像合成(I2V)は、入力画像の同一性を保持するコヒーレントなビデオを生成することを目的としている。 I2V-Adapterは、クロスフレームアテンション機構を介して、未通知の入力画像を後続のノイズフレームに適応的に伝搬する。 実験の結果,I2V-Adapterは高品質な動画を制作できることがわかった。
  論文  参考訳（メタデータ） (2023-12-27T19:11:50Z)
• PhotoMaker: Customizing Realistic Human Photos via Stacked ID Embedding [102.07914175196817]
  PhotoMakerは、効率的なパーソナライズされたテキスト・ツー・イメージ生成方法である。 任意の数の入力ID画像をスタックID埋め込みに符号化し、ID情報を保存する。
  論文  参考訳（メタデータ） (2023-12-07T17:32:29Z)
• IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models [11.105763635691641]
  テキストプロンプトの代替として、画像プロンプトがある。 我々は、事前訓練されたテキスト・画像拡散モデルに対して、画像のプロンプト機能を実現するための、効果的で軽量なアダプタであるIP-Adapterを提案する。
  論文  参考訳（メタデータ） (2023-08-13T08:34:51Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)
• LAFITE: Towards Language-Free Training for Text-to-Image Generation [83.2935513540494]
  テキストデータなしでテキストから画像への生成モデルをトレーニングするための最初の作業を提案する。 提案手法は,CLIPモデルのマルチモーダルなセマンティック空間の整合性を活用している。 我々は,標準的なテキスト・画像生成タスクにおいて,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-11-27T01:54:45Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。