論文の概要: SPDiffusion: Semantic Protection Diffusion Models for Multi-concept Text-to-image Generation

• arxiv url: http://arxiv.org/abs/2409.01327v2
• Date: Sat, 01 Mar 2025 09:23:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:09:45.672430
• Title: SPDiffusion: Semantic Protection Diffusion Models for Multi-concept Text-to-image Generation
• Title（参考訳）: SPDiffusion:多概念テキスト画像生成のための意味的保護拡散モデル
• Authors: Yang Zhang, Rui Zhang, Xuecheng Nie, Haochen Li, Jikun Chen, Yifan Hao, Xin Zhang, Luoqi Liu, Ling Li,
• Abstract要約: 本研究では,意味的保護拡散モデル(SPDiffusion)を提案し,概念の絡み合いと不適切な属性結合に対処する。 SPDiffusion frameworkは,領域の絡みを横断的に解消する新しい概念領域抽出法SP-Extractionを導入している。 提案手法を評価するために,SPDiffusionが最先端の結果を達成し,その有効性を示す既存のベンチマークを用いて評価を行った。
• 参考スコア（独自算出の注目度）: 18.3783330454167
• License:
• Abstract: Recent text-to-image models have achieved impressive results in generating high-quality images. However, when tasked with multi-concept generation creating images that contain multiple characters or objects, existing methods often suffer from semantic entanglement, including concept entanglement and improper attribute binding, leading to significant text-image inconsistency. We identify that semantic entanglement arises when certain regions of the latent features attend to incorrect concept and attribute tokens. In this work, we propose the Semantic Protection Diffusion Model (SPDiffusion) to address both concept entanglement and improper attribute binding using only a text prompt as input. The SPDiffusion framework introduces a novel concept region extraction method SP-Extraction to resolve region entanglement in cross-attention, along with SP-Attn, which protects concept regions from the influence of irrelevant attributes and concepts. To evaluate our method, we test it on existing benchmarks, where SPDiffusion achieves state-of-the-art results, demonstrating its effectiveness.
• Abstract（参考訳）: 近年のテキスト・ツー・イメージモデルでは,高品質な画像の生成が目覚ましい成果を上げている。 しかし、複数の文字やオブジェクトを含む画像を生成するマルチコンセプト生成をタスクすると、既存のメソッドは概念の絡み合いや不適切な属性バインディングなどの意味的絡み合いに悩まされ、テキストイメージの不整合が顕著になる。 潜在特徴のある領域が誤った概念や属性トークンに参加すると意味的絡み合いが生じる。 本研究では,テキストプロンプトのみを入力として,概念の絡み合いと不適切な属性バインディングの両方に対処する意味的保護拡散モデルを提案する。 SPDiffusion frameworkは,SP-Extractionという新しい概念領域抽出手法を導入し,無関係な属性や概念の影響から概念領域を保護するSP-Attnとともに,クロスアテンションの領域絡みを解決する。 提案手法を評価するために,SPDiffusionが最先端の結果を達成し,その有効性を示す既存のベンチマークを用いて評価を行った。

関連論文リスト

• Nested Attention: Semantic-aware Attention Values for Concept Personalization [78.90196530697897]
  我々はNested Attentionを紹介した。これはモデル内の既存のクロスアテンション層にリッチで表現豊かなイメージ表現を注入する新しいメカニズムである。 私たちのキーとなるアイデアは、ネストした注意層から得られたクエリ依存の主観値を生成し、生成した画像の各領域について関連する主観的特徴を選択することである。
  論文  参考訳（メタデータ） (2025-01-02T18:52:11Z)
• Fusion is all you need: Face Fusion for Customized Identity-Preserving Image Synthesis [7.099258248662009]
  テキスト・ツー・イメージ(T2I)モデルは人工知能の開発を著しく進歩させてきた。 しかし、既存のT2Iベースの手法は、参照画像から個人を正確に再現するのに苦労することが多い。 我々は、安定拡散から得られた事前学習されたUNetを利用して、対象の顔画像を直接生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2024-09-27T19:31:04Z)
• Don't Look into the Dark: Latent Codes for Pluralistic Image Inpainting [8.572133295533643]
  本稿では,離散潜在符号の生成枠組みに基づく大規模マスク多元画像の描画手法を提案する。 本手法は,画像の可視な場所でのみ計算を行うことで,トークンとして識別された遅延先行を学習する。
  論文  参考訳（メタデータ） (2024-03-27T01:28:36Z)
• Visual Concept-driven Image Generation with Text-to-Image Diffusion Model [65.96212844602866]
  テキスト・ツー・イメージ(TTI)モデルは複雑なシーンの高解像度画像を生成するという印象的な結果を示した。 近年のアプローチでは、これらの手法をパーソナライズ技術で拡張し、ユーザ認証の概念の統合を可能にしている。 しかし、人間の被写体のような複数の相互作用する概念を持つ画像を生成する能力は、1つにまたがったり、複数にまたがったりする概念は、いまだに説明がつかないままである。 これらの課題に対処する概念駆動型TTIパーソナライズフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T07:28:37Z)
• Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models [62.603753097900466]
  本稿では,文脈ベクトルの後部をモデル化し,適応的文脈制御のための新しいエネルギーベースモデル(EBM)を提案する。 具体的には、まず遅延画像表現とテキスト埋め込みのESMをデノナイズドオートエンコーダの各クロスアテンション層に定式化する。 我々の潜在ESMは、異なるコンテキストからの相互注意出力の線形結合として、ゼロショット合成を可能としています。
  論文  参考訳（メタデータ） (2023-06-16T14:30:41Z)
• Break-A-Scene: Extracting Multiple Concepts from a Single Image [80.47666266017207]
  テキストシーン分解の課題を紹介する。 本稿では,対象概念の存在を示すマスクを用いた入力画像の拡張を提案する。 次に、新しい2段階のカスタマイズプロセスを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:59:04Z)
• Compositional Text-to-Image Synthesis with Attention Map Control of Diffusion Models [8.250234707160793]
  近年のテキスト・ツー・イメージ(T2I)拡散モデルでは,テキスト・プロンプトを条件とした高品質な画像の生成に優れた性能を示す。 コンポジション機能に制限があるため、生成したイメージとプロンプトを意味的にアライメントすることができない。 本稿では,これらの問題に対処するために,予測オブジェクトボックスに基づく新しいアテンションマスク制御手法を提案する。
  論文  参考訳（メタデータ） (2023-05-23T10:49:22Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• High-Quality Pluralistic Image Completion via Code Shared VQGAN [51.7805154545948]
  高速な推論速度で高品質と多様性を両立させることができる多元画像補完のための新しい枠組みを提案する。 我々のフレームワークは、セマンティックにリッチな離散的なコードを効率的かつ堅牢に学習することができ、画像再構成の品質が大幅に向上する。
  論文  参考訳（メタデータ） (2022-04-05T01:47:35Z)
• Few-shot Semantic Image Synthesis Using StyleGAN Prior [8.528384027684192]
  本稿では,STYPEGANを用いたセマンティックマスクの擬似ラベリングを行うトレーニング戦略を提案する。 私たちの重要なアイデアは、semantic masksの例から、スタイルガン機能と各セマンティッククラスの単純なマッピングを構築することです。 擬似セマンティックマスクは、ピクセル整列マスクを必要とする従来のアプローチでは粗いかもしれないが、我々のフレームワークは、濃密なセマンティックマスクだけでなく、ランドマークやスクリブルのようなスパース入力から高品質な画像を合成することができる。
  論文  参考訳（メタデータ） (2021-03-27T11:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。