論文の概要: Translation of Text Embedding via Delta Vector to Suppress Strongly Entangled Content in Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.10407v1
• Date: Thu, 14 Aug 2025 07:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.210897
• Title: Translation of Text Embedding via Delta Vector to Suppress Strongly Entangled Content in Text-to-Image Diffusion Models
• Title（参考訳）: デルタベクトルによるテキスト埋め込みのテキスト-画像拡散モデルにおける強絡みコンテンツへの変換
• Authors: Eunseo Koh, Seunghoo Hong, Tae-Young Kim, Simon S. Woo, Jae-Pil Heo,
• Abstract要約: 本稿では,特定の単語に強く絡み合ったコンテンツを抑制する新しい手法を提案する。 本手法は, テキスト埋め込みを改良し, 生成画像中の望ましくない内容の影響を弱める。 提案手法は, 定量的および定性的指標の観点から, 既存手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 29.12099884112892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-Image (T2I) diffusion models have made significant progress in generating diverse high-quality images from textual prompts. However, these models still face challenges in suppressing content that is strongly entangled with specific words. For example, when generating an image of ``Charlie Chaplin", a ``mustache" consistently appears even if explicitly instructed not to include it, as the concept of ``mustache" is strongly entangled with ``Charlie Chaplin". To address this issue, we propose a novel approach to directly suppress such entangled content within the text embedding space of diffusion models. Our method introduces a delta vector that modifies the text embedding to weaken the influence of undesired content in the generated image, and we further demonstrate that this delta vector can be easily obtained through a zero-shot approach. Furthermore, we propose a Selective Suppression with Delta Vector (SSDV) method to adapt delta vector into the cross-attention mechanism, enabling more effective suppression of unwanted content in regions where it would otherwise be generated. Additionally, we enabled more precise suppression in personalized T2I models by optimizing delta vector, which previous baselines were unable to achieve. Extensive experimental results demonstrate that our approach significantly outperforms existing methods, both in terms of quantitative and qualitative metrics.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは,テキスト・プロンプトから様々な高品質な画像を生成するために大きな進歩を遂げている。 しかし、これらのモデルは、特定の単語に強く絡み合ったコンテンツを抑圧する上で、依然として課題に直面している。 例えば、 ``Charlie Chaplin" のイメージを生成する場合、 ``mustache" という概念は ``Charlie Chaplin" と強く絡み合っているため、明示的に " `mustache" を含まないよう指示しても常に現れる。 そこで本研究では,拡散モデルのテキスト埋め込み空間において,このような絡み合ったコンテンツを直接抑制する手法を提案する。 本手法では,テキスト埋め込みを改良して生成画像中の望ましくない内容の影響を弱めるデルタベクトルを導入し,このデルタベクトルがゼロショットアプローチにより容易に得ることを示す。 さらに, デルタベクトルを用いた選択抑制法を提案し, デルタベクトルをクロスアテンション機構に適応させ, それ以外の領域で不要なコンテンツをより効果的に抑制できるようにする。 さらに、従来のベースラインでは達成できなかったデルタベクトルを最適化することにより、パーソナライズされたT2Iモデルのより正確な抑制を可能にした。 大規模な実験結果から,本手法は定量的および定性的指標の両面で,既存手法よりも有意に優れていたことが示唆された。

関連論文リスト

• Contrastive Learning Guided Latent Diffusion Model for Image-to-Image Translation [7.218556478126324]
  拡散モデルはテキスト誘導画像翻訳のための多彩で高品質な画像において優れた性能を示した。 pix2pix-zeroConはゼロショット拡散に基づく手法で、パッチワイドのコントラスト損失を利用して追加のトレーニングを不要にする。 我々のアプローチでは、追加のトレーニングは必要とせず、事前訓練されたテキスト-画像拡散モデルで直接動作する。
  論文  参考訳（メタデータ） (2025-03-26T12:15:25Z)
• Aligning Text to Image in Diffusion Models is Easier Than You Think [47.623236425067326]
  SoftREPAは、表現アライメントにソフトテキストトークンを活用する軽量でコントラスト的な微調整戦略である。 本手法は,テキストと画像表現間の相互情報を明示的に増大させ,意味的一貫性を向上させる。
  論文  参考訳（メタデータ） (2025-03-11T10:14:22Z)
• Get What You Want, Not What You Don't: Image Content Suppression for Text-to-Image Diffusion Models [86.92711729969488]
  テキスト埋め込みの操作方法を分析し、不要なコンテンツを除去する。 第1は、テキスト埋め込み行列を正規化し、望ましくないコンテンツを効果的に抑制する。 第2の方法は、プロンプトの不要なコンテンツ生成をさらに抑制し、所望のコンテンツの生成を促進することである。
  論文  参考訳（メタデータ） (2024-02-08T03:15:06Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• Improving Diffusion-based Image Translation using Asymmetric Gradient Guidance [51.188396199083336]
  非対称勾配法の適用により拡散サンプリングの逆過程を導出する手法を提案する。 我々のモデルの適応性は、画像融合モデルと潜時拡散モデルの両方で実装できる。 実験により,本手法は画像翻訳タスクにおいて,様々な最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-07T12:56:56Z)
• High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
  提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。 人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
  論文  参考訳（メタデータ） (2022-11-30T15:43:20Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Diffusion-based Image Translation using Disentangled Style and Content Representation [51.188396199083336]
  セマンティックテキストや単一のターゲット画像でガイドされた拡散ベースの画像変換により、柔軟なスタイル変換が可能になった。 逆拡散中、画像の原内容を維持することはしばしば困難である。 本稿では,不整合スタイルとコンテンツ表現を用いた新しい拡散に基づく教師なし画像翻訳手法を提案する。 提案手法は,テキスト誘導と画像誘導の両方の翻訳作業において,最先端のベースラインモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-30T06:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。