論文の概要: MagicTailor: Component-Controllable Personalization in Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.13370v1
• Date: Thu, 17 Oct 2024 09:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:28.781897
• Title: MagicTailor: Component-Controllable Personalization in Text-to-Image Diffusion Models
• Title（参考訳）: MagicTailor: テキスト-画像拡散モデルにおけるコンポーネント制御可能なパーソナライゼーション
• Authors: Donghao Zhou, Jiancheng Huang, Jinbin Bai, Jiaze Wang, Hao Chen, Guangyong Chen, Xiaowei Hu, Pheng-Ann Heng,
• Abstract要約: 本稿では,テキスト・ツー・イメージ(T2I)モデルの境界を押し上げる新しいタスクであるコンポーネント・コントロール可能なパーソナライゼーションを提案する。 これらの課題を克服するために、動的マスケード分解(DM-Deg)を活用して、望ましくない視覚的セマンティクスを動的に摂動させる革新的なフレームワークであるMagicTailorを設計する。
• 参考スコア（独自算出の注目度）: 51.1034358143232
• License:
• Abstract: Recent advancements in text-to-image (T2I) diffusion models have enabled the creation of high-quality images from text prompts, but they still struggle to generate images with precise control over specific visual concepts. Existing approaches can replicate a given concept by learning from reference images, yet they lack the flexibility for fine-grained customization of the individual component within the concept. In this paper, we introduce component-controllable personalization, a novel task that pushes the boundaries of T2I models by allowing users to reconfigure specific components when personalizing visual concepts. This task is particularly challenging due to two primary obstacles: semantic pollution, where unwanted visual elements corrupt the personalized concept, and semantic imbalance, which causes disproportionate learning of the concept and component. To overcome these challenges, we design MagicTailor, an innovative framework that leverages Dynamic Masked Degradation (DM-Deg) to dynamically perturb undesired visual semantics and Dual-Stream Balancing (DS-Bal) to establish a balanced learning paradigm for desired visual semantics. Extensive comparisons, ablations, and analyses demonstrate that MagicTailor not only excels in this challenging task but also holds significant promise for practical applications, paving the way for more nuanced and creative image generation.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルの最近の進歩により、テキスト・プロンプトから高品質な画像を作成することが可能になったが、特定の視覚概念を正確に制御して画像を生成するのに苦戦している。 既存のアプローチでは、参照イメージから学習することで、特定の概念を再現することができるが、概念内の個々のコンポーネントを細かくカスタマイズする柔軟性は欠如している。 本稿では、視覚的概念をパーソナライズする際、ユーザが特定のコンポーネントを再構成できるようにすることで、T2Iモデルのバウンダリを押し上げる新しいタスクである、コンポーネント制御可能なパーソナライズを提案する。 この課題は、セマンティックな視覚要素がパーソナライズされた概念を損なうセマンティックな汚染と、概念とコンポーネントの不均質な学習を引き起こすセマンティックな不均衡という2つの主要な障害のために特に困難である。 これらの課題を克服するために、動的マスケド・デグラデーション(DM-Deg)を利用した革新的なフレームワークであるMagicTailorを設計し、望まない視覚的セマンティクスを動的に摂動し、Dual-Stream Balancing(DS-Bal)を用いて、望ましい視覚的セマンティクスのためのバランス学習パラダイムを確立する。 大規模な比較、改善、分析により、MagicTailorは、この挑戦的なタスクに長けているだけでなく、実用的なアプリケーションにも大きな可能性を秘めており、よりニュアンスでクリエイティブな画像生成の道を開いたことが示される。

関連論文リスト

• ConceptMix: A Compositional Image Generation Benchmark with Controllable Difficulty [52.15933752463479]
  ConceptMixはスケーラブルで、制御可能で、カスタマイズ可能なベンチマークです。 テキスト・ツー・イメージ(T2I)モデルの合成生成能力を自動的に評価する。 いくつかのモデル、特に開モデルの性能は k の増加とともに劇的に低下する。
  論文  参考訳（メタデータ） (2024-08-26T15:08:12Z)
• AttenCraft: Attention-guided Disentanglement of Multiple Concepts for Text-to-Image Customization [4.544788024283586]
  AttenCraft(アテンクラフト)は、複数のコンセプトの絡み合わせのための注意誘導方式である。 異なる概念からの特徴獲得の非同期性を緩和するために,一様サンプリングと再加重サンプリング方式を導入する。 本手法は,画像アライメントの観点からベースラインモデルより優れており,テキストアライメントに適合して動作する。
  論文  参考訳（メタデータ） (2024-05-28T08:50:14Z)
• Non-confusing Generation of Customized Concepts in Diffusion Models [135.4385383284657]
  テキスト誘導拡散モデル(TGDM)を用いた合成概念生成における概念間視覚混乱の共通課題に取り組む。 既存のカスタマイズされた生成方法は、第2ステージの微調整のみに焦点を当て、第1ステージを見下ろしている。 本稿では,CLIF(CLIF)と呼ばれる単純かつ効果的な画像言語微調整法を提案する。
  論文  参考訳（メタデータ） (2024-05-11T05:01:53Z)
• Attention Calibration for Disentangled Text-to-Image Personalization [12.339742346826403]
  本稿では,T2Iモデルの概念レベル理解を改善するための注意校正機構を提案する。 本手法は, 定性評価と定量的評価の両方において, 現状よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-27T13:31:39Z)
• Text-to-Image Generation for Abstract Concepts [76.32278151607763]
  抽象概念のためのテキスト・画像生成フレームワーク(TIAC)を提案する。 抽象概念は曖昧さを避けるための詳細な定義で明確な意図に明確化されている。 LLM抽出フォームパターンセットから概念依存型フォームを検索する。
  論文  参考訳（メタデータ） (2023-09-26T02:22:39Z)
• Create Your World: Lifelong Text-to-Image Diffusion [75.14353789007902]
  本稿では,過去の概念の「破滅的忘れ」を克服するために,ライフロングテキスト・画像拡散モデル(L2DM)を提案する。 我々のL2DMフレームワークは,知識の「破滅的忘れ」に関して,タスク対応メモリ拡張モジュールと弾性概念蒸留モジュールを考案している。 我々のモデルは、質的および定量的な指標の両方の観点から、連続的なテキストプロンプトの範囲にわたって、より忠実な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-08T16:45:56Z)
• Key-Locked Rank One Editing for Text-to-Image Personalization [43.195870616558935]
  本稿では,基礎となるT2Iモデルの動的ランク1更新による課題に対処するT2Iパーソナライズ手法であるPerfusionを提案する。 Perfusionは、新しい概念のクロスアテンションキーをそれらのスーパーオーディネートカテゴリに"ロックする"新しいメカニズムを導入することで、過度な適合を避ける。 Perfusionは質的・量的両面で強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-02T17:56:06Z)
• Designing an Encoder for Fast Personalization of Text-to-Image Models [57.62449900121022]
  テキスト・ツー・イメージ・パーソナライズのためのエンコーダに基づくドメインチューニング手法を提案する。 まず、特定のドメインからターゲット概念の1つのイメージを入力として取り込むエンコーダです。 第二に、追加概念を効果的に取り入れる方法を学ぶためのテキスト・ツー・イメージ・モデルのための正規化された重み付けオフセットのセット。
  論文  参考訳（メタデータ） (2023-02-23T18:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。