論文の概要: MagicTailor: Component-Controllable Personalization in Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2410.13370v1
• Date: Thu, 17 Oct 2024 09:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:28.781897
• Title: MagicTailor: Component-Controllable Personalization in Text-to-Image Diffusion Models
• Title（参考訳）: MagicTailor: テキスト-画像拡散モデルにおけるコンポーネント制御可能なパーソナライゼーション
• Authors: Donghao Zhou, Jiancheng Huang, Jinbin Bai, Jiaze Wang, Hao Chen, Guangyong Chen, Xiaowei Hu, Pheng-Ann Heng,
• Abstract要約: 本稿では,テキスト・ツー・イメージ(T2I)モデルの境界を押し上げる新しいタスクであるコンポーネント・コントロール可能なパーソナライゼーションを提案する。 これらの課題を克服するために、動的マスケード分解(DM-Deg)を活用して、望ましくない視覚的セマンティクスを動的に摂動させる革新的なフレームワークであるMagicTailorを設計する。
• 参考スコア（独自算出の注目度）: 51.1034358143232
• License:
• Abstract: Recent advancements in text-to-image (T2I) diffusion models have enabled the creation of high-quality images from text prompts, but they still struggle to generate images with precise control over specific visual concepts. Existing approaches can replicate a given concept by learning from reference images, yet they lack the flexibility for fine-grained customization of the individual component within the concept. In this paper, we introduce component-controllable personalization, a novel task that pushes the boundaries of T2I models by allowing users to reconfigure specific components when personalizing visual concepts. This task is particularly challenging due to two primary obstacles: semantic pollution, where unwanted visual elements corrupt the personalized concept, and semantic imbalance, which causes disproportionate learning of the concept and component. To overcome these challenges, we design MagicTailor, an innovative framework that leverages Dynamic Masked Degradation (DM-Deg) to dynamically perturb undesired visual semantics and Dual-Stream Balancing (DS-Bal) to establish a balanced learning paradigm for desired visual semantics. Extensive comparisons, ablations, and analyses demonstrate that MagicTailor not only excels in this challenging task but also holds significant promise for practical applications, paving the way for more nuanced and creative image generation.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルの最近の進歩により、テキスト・プロンプトから高品質な画像を作成することが可能になったが、特定の視覚概念を正確に制御して画像を生成するのに苦戦している。 既存のアプローチでは、参照イメージから学習することで、特定の概念を再現することができるが、概念内の個々のコンポーネントを細かくカスタマイズする柔軟性は欠如している。 本稿では、視覚的概念をパーソナライズする際、ユーザが特定のコンポーネントを再構成できるようにすることで、T2Iモデルのバウンダリを押し上げる新しいタスクである、コンポーネント制御可能なパーソナライズを提案する。 この課題は、セマンティックな視覚要素がパーソナライズされた概念を損なうセマンティックな汚染と、概念とコンポーネントの不均質な学習を引き起こすセマンティックな不均衡という2つの主要な障害のために特に困難である。 これらの課題を克服するために、動的マスケド・デグラデーション(DM-Deg)を利用した革新的なフレームワークであるMagicTailorを設計し、望まない視覚的セマンティクスを動的に摂動し、Dual-Stream Balancing(DS-Bal)を用いて、望ましい視覚的セマンティクスのためのバランス学習パラダイムを確立する。 大規模な比較、改善、分析により、MagicTailorは、この挑戦的なタスクに長けているだけでなく、実用的なアプリケーションにも大きな可能性を秘めており、よりニュアンスでクリエイティブな画像生成の道を開いたことが示される。

関連論文リスト

• DisEnvisioner: Disentangled and Enriched Visual Prompt for Customized Image Generation [22.599542105037443]
  DisEnvisionerは、非関連情報をフィルタリングしながら、主観的特徴を効果的に抽出し、強化するための新しいアプローチである。 具体的には、被写体と他の無関係なコンポーネントの特徴を視覚的トークンに効果的に分離し、より正確なカスタマイズを可能にする。 提案手法は,命令応答(予測可能性),ID整合性,推論速度,画像の全体的な品質において,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-02T22:29:14Z)
• Text Guided Image Editing with Automatic Concept Locating and Forgetting [27.70615803908037]
  画像中の潜在的なターゲット概念を特定するために,Locate and Forget (LaF) と呼ばれる新しい手法を提案する。 本手法はベースラインと比較して,テキスト誘導画像編集作業において質的かつ定量的に優位性を示す。
  論文  参考訳（メタデータ） (2024-05-30T05:36:32Z)
• Pick-and-Draw: Training-free Semantic Guidance for Text-to-Image Personalization [56.12990759116612]
  Pick-and-Drawは、パーソナライズ手法のアイデンティティ一貫性と生成多様性を高めるためのトレーニング不要なセマンティックガイダンスアプローチである。 提案手法は、パーソナライズされた拡散モデルに適用可能であり、単一の参照画像のみを必要とする。
  論文  参考訳（メタデータ） (2024-01-30T05:56:12Z)
• InstructBooth: Instruction-following Personalized Text-to-Image Generation [30.89054609185801]
  InstructBoothは、パーソナライズされたテキスト・ツー・イメージモデルにおける画像テキストアライメントを強化するために設計された新しい方法である。 提案手法はまず,一意の識別子を用いて,少数の被写体固有の画像でテキスト・ツー・イメージ・モデルをパーソナライズする。 パーソナライズ後、強化学習を用いてパーソナライズされたテキスト・ツー・イメージモデルを微調整し、画像・テキストのアライメントを定量化する報酬を最大化する。
  論文  参考訳（メタデータ） (2023-12-04T20:34:46Z)
• CustomNet: Zero-shot Object Customization with Variable-Viewpoints in Text-to-Image Diffusion Models [85.69959024572363]
  CustomNetは、オブジェクトのカスタマイズプロセスに3Dの新しいビュー合成機能を明示的に組み込んだ、新しいオブジェクトカスタマイズアプローチである。 テキスト記述や特定のユーザ定義画像による位置制御とフレキシブルな背景制御を実現するための繊細な設計を導入する。 本手法は,テスト時間最適化を伴わないゼロショットオブジェクトのカスタマイズを容易にし,視点,位置,背景を同時制御する。
  論文  参考訳（メタデータ） (2023-10-30T17:50:14Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• Taming Encoder for Zero Fine-tuning Image Customization with Text-to-Image Diffusion Models [55.04969603431266]
  本稿では,ユーザが指定したカスタマイズされたオブジェクトの画像を生成する手法を提案する。 この手法は、従来のアプローチで要求される長大な最適化をバイパスする一般的なフレームワークに基づいている。 提案手法は, 出力品質, 外観の多様性, 被写体忠実度を考慮した画像合成が可能であることを示す。
  論文  参考訳（メタデータ） (2023-04-05T17:59:32Z)
• Highly Personalized Text Embedding for Image Manipulation by Stable Diffusion [34.662798793560995]
  高度にパーソナライズされた(PerHi)テキスト埋め込みを用いたパーソナライズ手法を提案する。 本手法では, モデル微調整や識別子を必要としないが, 背景, テクスチャ, 動きを1つの画像とターゲットテキストで操作できる。
  論文  参考訳（メタデータ） (2023-03-15T17:07:45Z)
• IR-GAN: Image Manipulation with Linguistic Instruction by Increment Reasoning [110.7118381246156]
  Incrment Reasoning Generative Adversarial Network (IR-GAN)は、画像における視覚的インクリメントと命令における意味的インクリメントとの整合性を推論することを目的としている。 まず,単語レベルと命令レベルの命令エンコーダを導入し,履歴関連命令からユーザの意図を意味的インクリメントとして学習する。 第2に、対象画像を生成するために、意味的インクリメントの表現をソースイメージに組み込んで、ソースイメージが補助的参照の役割を担っている。
  論文  参考訳（メタデータ） (2022-04-02T07:48:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。