論文の概要: TIE: Training-free CLIP Embedding Guidance for Compositional Text-to-Image Alignment

• arxiv url: http://arxiv.org/abs/2610.32407v1
• Date: Fri, 23 Oct 2026 09:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.447188
• Title: TIE: Training-free CLIP Embedding Guidance for Compositional Text-to-Image Alignment
• Title（参考訳）: TIE:コンポジションテキスト・画像アライメントのためのトレーニング不要CLIP埋め込みガイダンス
• Abstract要約: 我々は、CLIPベースのT2Iモデルにまたがる概念損失と概念混乱に対するトレーニング不要な推論時間ソリューションを開発した。 我々は、単一のテキスト埋め込み更新によって意味的アライメントを改善する方法であるTIEを紹介する。 TIEは、最小限のサンプリングオーバーヘッドを持つマルチコンセプトシナリオにおける意味的忠実性を高める。
• 参考スコア（独自算出の注目度）: 6.795225355131431
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image (T2I) diffusion models have advanced notably, but still fail to satisfy prompt conditions, resulting in attribute mismatches and missing objects. These errors normally fall into two categories: concept loss, when an object or attribute (i.e., concept) goes missing, and concept confusion, when an attribute is assigned to the wrong object or multiple objects blend together. Recent studies suggest that these challenges are caused by the limited capacity of CLIP text encoder to capture fine-grained semantic details. Although several methods have been proposed, concept loss and concept confusion persist in recent T2I models when handling multi-object, multi-attribute prompts. In this paper, we conduct an embedding-level analysis to develop a training-free, inference-time solution for concept loss and concept confusion across CLIP-based T2I models. We find that (1) concepts mentioned later exhibit higher embedding entropy, reflecting less concentrated representations that are more often associated with concept loss, and (2) the first CLIP attention layer captures the strength of binding between each object and its attribute. Guided by our findings, we introduce TIE, a method that improves semantic alignment through a single text-embedding update. TIE addresses concept loss via entropy-aware singular value amplification and resolves concept confusion through interpolation-extrapolation binding based on CLIP attention scores, all in a training-free manner. Extensive experiments demonstrate that TIE enhances semantic fidelity in multi-concept scenarios with minimal sampling overhead. The project page is available at https://hong-sujung.github.io/TIE/.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)拡散モデルは顕著に進歩しているが、依然として迅速な条件を満たすことができず、属性ミスマッチや欠落したオブジェクトをもたらす。 これらのエラーは通常、2つのカテゴリに分類される: 概念損失、オブジェクトまたは属性(つまり、概念)が失われるとき、そして、ある属性が間違ったオブジェクトに割り当てられるとき、または複数のオブジェクトが混ざり合うとき、概念混乱である。 近年の研究では、これらの課題はCLIPテキストエンコーダの細かなセマンティックな詳細をキャプチャする能力の制限によって引き起こされていることが示唆されている。 いくつかの方法が提案されているが、近年のT2Iモデルでは、マルチオブジェクト、マルチ属性プロンプトを扱う際に、概念損失と概念混乱が持続している。 本稿では,CLIPベースのT2Iモデルに対して,概念損失と概念混乱に対するトレーニング不要な推論時間ソリューションを開発するために,埋め込みレベルの解析を行う。 その結果,(1) 後述の概念は, 概念損失とより結びついている, より集中度が低い表現を反映して, 高い埋め込みエントロピーを示し, (2) 第一のCLIPアテンション層は, 各オブジェクトとその属性間の結合の強さを捉えていることがわかった。 そこで本研究では,単一のテキスト埋め込み更新によってセマンティックアライメントを改善する方法であるTIEを紹介した。 TIEは、エントロピー対応特異値増幅による概念損失に対処し、CLIPアテンションスコアに基づく補間・外挿結合を通じて概念混乱を解決する。 大規模な実験により、TIEは最小限のサンプリングオーバーヘッドを持つマルチコンセプトシナリオにおける意味的忠実性を高めることが示されている。 プロジェクトページはhttps://hong-sujung.github.io/TIE/で公開されている。

関連論文リスト

• Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models [105.53190946111586]
  我々はこの現象をオブジェクト依存概念の脆さと呼ぶ。 これらの障害を監査し、最小限に修正する、解釈可能性指向のフレームワークを提案する。 複数の拡散バックボーンにまたがるスタイルと属性の故障事例について,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2026-09-09T09:07:40Z)
• ICON Decomposition: Auditing Deep Neural Networks with Multivariate Variance-based Concept-level Explanations [15.846631139316678]
  ディープニューラルネットワークは、しばしばショートカット学習として知られる失敗である急激な関連を悪用する。 現在の概念に基づく説明可能性メソッドは、一度に1つの概念をテストし、レイヤからデオード可能かどうかを問う。 ICON分解は、他のすべての概念と結果から、各概念が説明できる層の分散度を定量化する。 シミュレーションデータでは、ICONは既存の7つの方法よりも概念の重要性を正確に回復する。
  論文  参考訳（メタデータ） (2026-08-26T17:47:49Z)
• Now You See It, Now You Don't - Instant Concept Erasure for Safe Text-to-Image and Video Generation [7.68494752148263]
  Instant Concept Erasure (ICE)は、トレーニング不要で、モダリティに依存しない、1ショットの重み修正アプローチで、ゼロオーバーヘッドで正確で永続的な未学習を実現する。 ICEは、異方性エネルギー重み付きスケーリングを用いて部分空間の消去と保存を定義し、その後、ユニークな閉形式重なりプロジェクタを用いて交叉に対して明示的に正規化する。 T2IモデルとT2Vモデルの両方において、元の生成能力の最小限の低下しか生じないにもかかわらず、レッドピーティングに対する堅牢性を改善した強い消去を効率的に達成する。
  論文  参考訳（メタデータ） (2025-11-24T01:48:44Z)
• No Concept Left Behind: Test-Time Optimization for Compositional Text-to-Image Generation [14.417173544864298]
  本稿では,テキスト・トゥ・イメージ(T2I)生成における構成忠実度を高めるための,きめ細かいテスト時間最適化フレームワークを提案する。 提案手法は,入力プロンプトを意味概念に分解し,グローバルレベルと概念レベルの両方でアライメントを評価する。 DrawBench と CompBench の実験により,提案手法は概念カバレッジと人間に対する信頼度を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2025-09-27T18:59:49Z)
• ICE: Intrinsic Concept Extraction from a Single Image via Diffusion Models [60.30998818833206]
  ICEは内在概念抽出(Intrinsic Concept extract)の略で、1つの画像から内在概念を抽出する新しいフレームワークである。 本フレームワークは、教師なしの方法で単一の画像から本質的な概念抽出を行う上で、優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-25T17:58:29Z)
• Fine-Grained Erasure in Text-to-Image Diffusion-based Foundation Models [56.35484513848296]
  FADE(Fine grained Attenuation for Diffusion Erasure)は、テキストから画像への生成モデルのための非学習アルゴリズムである。 関連する概念に最小限の影響で目標概念を排除し、最先端の手法よりも保持性能が12%向上した。
  論文  参考訳（メタデータ） (2025-03-25T15:49:48Z)
• AttenCraft: Attention-guided Disentanglement of Multiple Concepts for Text-to-Image Customization [3.5066393042242123]
  本研究では,マルチコンセプト・ディコンタングルメントのための注意型手法であるAttenCraftを提案する。 注意点に基づく適応アルゴリズムを導入し,異なる概念に対するサンプリング比を推定する。 我々のモデルは,最新画像の忠実度と,ベースラインモデルに匹敵する即時忠実度という2つの問題を効果的に緩和する。
  論文  参考訳（メタデータ） (2024-05-28T08:50:14Z)
• Non-confusing Generation of Customized Concepts in Diffusion Models [135.4385383284657]
  テキスト誘導拡散モデル(TGDM)を用いた合成概念生成における概念間視覚混乱の共通課題に取り組む。 既存のカスタマイズされた生成方法は、第2ステージの微調整のみに焦点を当て、第1ステージを見下ろしている。 本稿では,CLIF(CLIF)と呼ばれる単純かつ効果的な画像言語微調整法を提案する。
  論文  参考訳（メタデータ） (2024-05-11T05:01:53Z)
• Translational Concept Embedding for Generalized Compositional Zero-shot Learning [73.60639796305415]
  一般合成ゼロショット学習は、ゼロショット方式で属性オブジェクト対の合成概念を学習する手段である。 本稿では,これら2つの課題を統一的なフレームワークで解決するために,翻訳概念の埋め込み(translational concept embedded)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-12-20T21:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。