論文の概要: Identity Decoupling for Multi-Subject Personalization of Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2404.04243v1
• Date: Fri, 5 Apr 2024 17:45:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 15:26:09.634204
• Title: Identity Decoupling for Multi-Subject Personalization of Text-to-Image Models
• Title（参考訳）: テキスト・画像モデルの多目的パーソナライズのためのアイデンティティ・デカップリング
• Authors: Sangwon Jang, Jaehyeong Jo, Kimin Lee, Sung Ju Hwang,
• Abstract要約: マルチオブジェクトパーソナライズを可能にする新しいフレームワークである MuDI を提案する。 本研究の主な目的は,Segment Anything Model が生成したセグメンテーションをトレーニングと推論の両方に活用することである。 実験により, MuDI は同一性ミキシングを伴わずに高品質なパーソナライズされたイメージを生成できることが実証された。
• 参考スコア（独自算出の注目度）: 66.05234562835136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image diffusion models have shown remarkable success in generating a personalized subject based on a few reference images. However, current methods struggle with handling multiple subjects simultaneously, often resulting in mixed identities with combined attributes from different subjects. In this work, we present MuDI, a novel framework that enables multi-subject personalization by effectively decoupling identities from multiple subjects. Our main idea is to utilize segmented subjects generated by the Segment Anything Model for both training and inference, as a form of data augmentation for training and initialization for the generation process. Our experiments demonstrate that MuDI can produce high-quality personalized images without identity mixing, even for highly similar subjects as shown in Figure 1. In human evaluation, MuDI shows twice as many successes for personalizing multiple subjects without identity mixing over existing baselines and is preferred over 70% compared to the strongest baseline. More results are available at https://mudi-t2i.github.io/.
• Abstract（参考訳）: テキスト・ツー・イメージ拡散モデルでは、いくつかの参照画像に基づいてパーソナライズされた主題を生成することに顕著な成功を収めている。 しかし、現在の手法は複数の主題を同時に扱うのに苦労しており、しばしば異なる主題の属性が混ざり合った同一性をもたらす。 本研究では,複数の被験者のアイデンティティを効果的に分離することで,マルチオブジェクトのパーソナライズを可能にする新しいフレームワークであるMuDIを提案する。 本研究の主な目的は,Segment Anything Model が生成過程のトレーニングと初期化のためのデータ拡張の形式として,トレーニングと推論の両方に用いたセグメンテーションである。 実験により, 図1に示すように, 同一性混合を伴わずに, 高品質なパーソナライズ画像が作成できることが実証された。 人的評価では、 MuDI は既存のベースラインよりもアイデンティティミキシングを伴わない複数の被験者のパーソナライズに成功し、最強ベースラインに比べて70%以上好まれる。 さらなる結果はhttps://mudi-t2i.github.io/.com/で公開されている。

関連論文リスト

• JeDi: Joint-Image Diffusion Models for Finetuning-Free Personalized Text-to-Image Generation [49.997839600988875]
  既存のパーソナライズ手法は、ユーザのカスタムデータセット上でテキスト・ツー・イメージの基礎モデルを微調整することに依存している。 ファインタニングフリーのパーソナライズモデルを学ぶための効果的な手法として,ジョイントイメージ拡散(jedi)を提案する。 本モデルは,従来のファインタニングベースとファインタニングフリーのパーソナライゼーションベースの両方において,定量的かつ定性的に,高い品質を実現する。
  論文  参考訳（メタデータ） (2024-07-08T17:59:02Z)
• Enhance Image Classification via Inter-Class Image Mixup with Diffusion Model [80.61157097223058]
  画像分類性能を高めるための一般的な戦略は、T2Iモデルによって生成された合成画像でトレーニングセットを増強することである。 本研究では,既存のデータ拡張技術の欠点について検討する。 Diff-Mixと呼ばれる革新的なクラス間データ拡張手法を導入する。
  論文  参考訳（メタデータ） (2024-03-28T17:23:45Z)
• IDAdapter: Learning Mixed Features for Tuning-Free Personalization of Text-to-Image Models [31.762112403595612]
  IDAdapterは、単一の顔画像からパーソナライズされた画像生成における多様性とアイデンティティの保存を強化する、チューニング不要なアプローチである。 トレーニング期間中、特定のアイデンティティの複数の参照画像から混合した特徴を取り入れ、アイデンティティ関連コンテンツの詳細を充実させる。
  論文  参考訳（メタデータ） (2024-03-20T12:13:04Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
  アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。 本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-05T11:02:45Z)
• PhotoVerse: Tuning-Free Image Customization with Text-to-Image Diffusion Models [19.519789922033034]
  PhotoVerseは、テキストドメインと画像ドメインの両方にデュアルブランチ条件設定機構を組み込んだ革新的な方法論である。 1つのトレーニングフェーズの後、我々の手法は数秒で高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-11T19:59:43Z)
• Cones 2: Customizable Image Synthesis with Multiple Subjects [50.54010141032032]
  本研究では,特定の対象を効率的に表現する方法と,異なる対象を適切に構成する方法について検討する。 クロスアテンションマップ内のアクティベーションを修正することにより、レイアウトはイメージ内の異なる被写体の位置を指定して分離する。
  論文  参考訳（メタデータ） (2023-05-30T18:00:06Z)
• Identity Encoder for Personalized Diffusion [57.1198884486401]
  パーソナライズのためのエンコーダに基づくアプローチを提案する。 我々は、被写体の参照画像の集合からアイデンティティ表現を抽出できるアイデンティティエンコーダを学習する。 提案手法は画像生成と再構成の両方において既存の微調整に基づくアプローチより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-14T23:32:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。