論文の概要: STEDiff: Strengthening Text Embedding for Text-to-Image Alignment in Diffusion Model

• arxiv url: http://arxiv.org/abs/2606.10653v1
• Date: Tue, 09 Jun 2026 09:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.432163
• Title: STEDiff: Strengthening Text Embedding for Text-to-Image Alignment in Diffusion Model
• Title（参考訳）: STEDiff:拡散モデルにおけるテキスト対画像アライメントのための強化テキスト埋め込み
• Authors: Hailan Zhang, Haipeng Liu, Bo Fu, Yang Wang,
• Abstract要約: STEDiffは、テキスト埋め込み空間内で意味表現を直接拡張するために設計された、トレーニング不要のメソッドである。 本手法は複雑なシナリオにおける意味的一貫性と生成を顕著に改善する。
• 参考スコア（独自算出の注目度）: 4.685207648946472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although pretrained text-to-image (T2I) generation models can produce high-quality images, they often fail to faithfully reflect the semantic intent of complex prompts due to stochastic noise and inherent model limitations. This issue frequently manifests as the model overlooking specific objects or failing to correctly bind attributes to their corresponding entities, a challenge referred to as semantic alignment. Unlike existing approaches that rely on computationally expensive fine-tuning or labor-intensive layout priors, we propose STEDiff, a training-free method designed to enhance semantic representations directly within the text-embedding space. Specifically, we introduce a method that primarily leverages the [EOT] token to strengthen the relevant semantics of sub-sentences and then replaces the corresponding tokens in the original prompt. Furthermore, a novel semantic enhancement loss is incorporated to enforce spatial constraints, ensuring that the semantics of each entity are precisely mapped to their respective image regions. Extensive quantitative and qualitative evaluations on the T2I-CompBench demonstrate that our method notably improves semantic consistency and generation integrity in complex scenarios.
• Abstract（参考訳）: 事前訓練されたテキスト・ツー・イメージ(T2I)生成モデルは高品質な画像を生成することができるが、確率的ノイズと固有のモデル制限による複雑なプロンプトの意味的な意図を忠実に反映しないことが多い。 この問題は、特定のオブジェクトを見渡すモデルや、対応するエンティティに属性を正しくバインドできないモデルとして、しばしば現れます。 計算コストのかかる微調整や労働集約的なレイアウトに頼っている既存の手法とは異なり、テキスト埋め込み空間内で意味表現を直接拡張する訓練自由な手法であるSTEDiffを提案する。 具体的には、主に[EOT]トークンを利用して、サブ文の関連性を強化し、元のプロンプトで対応するトークンを置き換える方法を提案する。 さらに、空間的制約を強制し、各エンティティのセマンティクスがそれぞれの画像領域に正確にマッピングされることを保証するために、新しいセマンティクス強化損失が組み込まれている。 T2I-CompBenchにおける大規模定量的・定性的な評価は,複雑なシナリオにおける意味的一貫性と生成整合性の向上を顕著に示すものである。

関連論文リスト

• Geometric Disentanglement of Text Embeddings for Subject-Consistent Text-to-Image Generation using A Single Prompt [14.734857939203811]
  主観的視点から意味的絡み合いに対処する学習自由アプローチを提案する。 提案手法は既存のベースラインに対する主観的一貫性とテキストアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2025-12-18T11:55:06Z)
• FocusDiff: Advancing Fine-Grained Text-Image Alignment for Autoregressive Visual Generation through RL [78.59912944698992]
  微細なテキスト画像のセマンティックアライメントを強化するためにFocusDiffを提案する。 我々は、類似した全体表現を持つペアテキストと画像の新しいデータセットを構築するが、局所的な意味論を区別する。 提案手法は,既存のテキスト・画像・ベンチマークにおける最先端性能を実現し,PairCompの先行手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-06-05T18:36:33Z)
• VSC: Visual Search Compositional Text-to-Image Diffusion Model [15.682990658945682]
  本稿では,一対のイメージ埋め込みを利用して属性オブジェクトの結合を改善する新しい合成生成手法を提案する。 提案手法は,複雑なプロンプトをサブプロンプトに分解し,対応する画像を生成し,テキスト埋め込みと融合して表現を強化する視覚プロトタイプを計算する。 提案手法は,T2I CompBenchベンチマークにおける既存の合成テキスト・画像拡散モデルより優れ,画像品質の向上,人間による評価,およびプロンプト内の結合対のスケーリングによる堅牢性の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-02T08:31:43Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• RealignDiff: Boosting Text-to-Image Diffusion Model with Coarse-to-fine Semantic Re-alignment [112.45442468794658]
  本稿では,RealignDiffという2段階の粗大なセマンティックアライメント手法を提案する。 粗いセマンティックリアライメントフェーズにおいて、生成された画像キャプションと与えられたテキストプロンプトとのセマンティックな相違を評価するために、新しいキャプション報酬を提案する。 微妙なセマンティックリアライメントステージは、局所的な密集キャプション生成モジュールと再重み付けアテンション変調モジュールを用いて、局所的なセマンティックビューから生成された画像を洗練する。
  論文  参考訳（メタデータ） (2023-05-31T06:59:21Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。