論文の概要: OMG: Occlusion-friendly Personalized Multi-concept Generation in Diffusion Models

• arxiv url: http://arxiv.org/abs/2403.10983v2
• Date: Sat, 20 Jul 2024 15:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 02:21:06.179528
• Title: OMG: Occlusion-friendly Personalized Multi-concept Generation in Diffusion Models
• Title（参考訳）: OMG:拡散モデルにおけるオクルージョンフレンドリーなパーソナライズされたマルチコンセプト生成
• Authors: Zhe Kong, Yong Zhang, Tianyu Yang, Tao Wang, Kaihao Zhang, Bizhu Wu, Guanying Chen, Wei Liu, Wenhan Luo,
• Abstract要約: OMGは、単一のイメージ内に複数の概念をシームレスに統合するように設計されたフレームワークである。 OMGはマルチコンセプトパーソナライゼーションにおいて優れた性能を示す。 civitai.comのLoRAモデルは直接利用することができる。
• 参考スコア（独自算出の注目度）: 47.63060402915307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalization is an important topic in text-to-image generation, especially the challenging multi-concept personalization. Current multi-concept methods are struggling with identity preservation, occlusion, and the harmony between foreground and background. In this work, we propose OMG, an occlusion-friendly personalized generation framework designed to seamlessly integrate multiple concepts within a single image. We propose a novel two-stage sampling solution. The first stage takes charge of layout generation and visual comprehension information collection for handling occlusions. The second one utilizes the acquired visual comprehension information and the designed noise blending to integrate multiple concepts while considering occlusions. We also observe that the initiation denoising timestep for noise blending is the key to identity preservation and layout. Moreover, our method can be combined with various single-concept models, such as LoRA and InstantID without additional tuning. Especially, LoRA models on civitai.com can be exploited directly. Extensive experiments demonstrate that OMG exhibits superior performance in multi-concept personalization.
• Abstract（参考訳）: パーソナライゼーションはテキスト・ツー・イメージ生成において重要なトピックであり、特に難解なマルチコンセプトパーソナライゼーションである。 現在のマルチコンセプト手法は, 身元確認, 閉塞, 前景と背景の調和に苦慮している。 そこで本研究では,複数の概念をシームレスに1つの画像に統合するオクルージョン・フレンドリなパーソナライズド・ジェネレーション・フレームワークOMGを提案する。 本稿では,新しい2段階サンプリング法を提案する。 第1段階は、オクルージョンを扱うためのレイアウト生成と視覚的理解情報収集を担当する。 2つ目は、取得した視覚的理解情報と設計したノイズブレンディングを利用して、オクルージョンを考慮しつつ複数の概念を統合することである。 また、ノイズブレンディングの開始時刻がアイデンティティの保存とレイアウトの鍵となることも観察した。 さらに本手法は,LoRAやInstantIDなどの単一概念モデルと組み合わせることができる。 特にcivitai.comのLoRAモデルは直接利用することができる。 OMGは多概念パーソナライゼーションにおいて優れた性能を示した。

関連論文リスト

• AttenCraft: Attention-guided Disentanglement of Multiple Concepts for Text-to-Image Customization [4.544788024283586]
  AttenCraft(アテンクラフト)は、複数のコンセプトの絡み合わせのための注意誘導方式である。 異なる概念からの特徴獲得の非同期性を緩和するために,一様サンプリングと再加重サンプリング方式を導入する。 本手法は,画像アライメントの観点からベースラインモデルより優れており,テキストアライメントに適合して動作する。
  論文  参考訳（メタデータ） (2024-05-28T08:50:14Z)
• FreeCustom: Tuning-Free Customized Image Generation for Multi-Concept Composition [49.2208591663092]
  FreeCustomは、参照概念に基づいたマルチコンセプト構成のカスタマイズされた画像を生成するためのチューニング不要な方法である。 本稿では,MRSA(Multi-Reference Self-attention)機構と重み付きマスク戦略を導入する。 提案手法は,マルチコンセプト構成やシングルコンセプトのカスタマイズの観点から,他のトレーニングベース手法と同等あるいは同等に機能する。
  論文  参考訳（メタデータ） (2024-05-22T17:53:38Z)
• MC$^2$: Multi-concept Guidance for Customized Multi-concept Generation [49.935634230341904]
  MC$2$と呼ばれるマルチコンセプトカスタマイズのためのマルチコンセプトガイダンスを導入し、柔軟性と忠実さを改善した。 MC$2$は、推論時間最適化を通じてモデルアーキテクチャの要件を分離する。 視覚とテキストのトークン間の注意重みを適応的に改善し、画像領域に関連した単語に集中するよう指示する。
  論文  参考訳（メタデータ） (2024-04-08T07:59:04Z)
• Attention Calibration for Disentangled Text-to-Image Personalization [12.339742346826403]
  本稿では,T2Iモデルの概念レベル理解を改善するための注意校正機構を提案する。 本手法は, 定性評価と定量的評価の両方において, 現状よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-27T13:31:39Z)
• LoRA-Composer: Leveraging Low-Rank Adaptation for Multi-Concept Customization in Training-Free Diffusion Models [33.379758040084894]
  ドメイン内の課題として、マルチコンセプトのカスタマイズが登場します。 既存のアプローチでは、複数のローランド適応(LoRA)の融合行列をトレーニングして、さまざまな概念をひとつのイメージにマージすることが多い。 LoRA-Composerは、複数のLoRAをシームレスに統合するために設計されたトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2024-03-18T09:58:52Z)
• Multi-view Information Integration and Propagation for Occluded Person Re-identification [36.91680117072686]
  被占領者の再識別(re-ID)は,閉塞摂動による課題である。 現在のほとんどのソリューションは、1つの画像からのみ情報をキャプチャし、同じ歩行者を描いた複数の画像で利用可能な豊富な補完情報を無視している。 我々はMVI$2$P(Multi-view Information Integration and Propagation)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-07T09:17:56Z)
• Multi-Concept T2I-Zero: Tweaking Only The Text Embeddings and Nothing Else [75.6806649860538]
  我々は,事前学習した拡散モデルを用いた自然多概念生成という,より野心的な目標を考える。 マルチコンセプト生成性能を著しく低下させる概念支配と非局所的貢献を観察する。 我々は、より現実的なマルチコンセプトのテキスト・ツー・イメージ生成のために、テキストの埋め込みを微調整することで、上記の問題を克服する最小の低コストのソリューションを設計する。
  論文  参考訳（メタデータ） (2023-10-11T12:05:44Z)
• Mix-of-Show: Decentralized Low-Rank Adaptation for Multi-Concept Customization of Diffusion Models [72.67967883658957]
  低ランク適応(LoRA)を用いた新しい概念に対して、公共の大規模テキスト・画像拡散モデルを簡単にカスタマイズできる。 複数のカスタマイズされた概念を共同でサポートするために複数の概念LoRAを利用することは、課題である。 我々は、分散化されたマルチコンセプトカスタマイズの課題に対処するMix-of-Showと呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:58:16Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。