論文の概要: Text-to-Image Models Need Less from Text Encoders Than You Think

• arxiv url: http://arxiv.org/abs/2606.03715v1
• Date: Tue, 02 Jun 2026 14:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.073186
• Title: Text-to-Image Models Need Less from Text Encoders Than You Think
• Title（参考訳）: テキストエンコーダから必要最小限のテキスト・ツー・イメージモデル
• Authors: Nurit Spingarn, Noa Cohen, Tamar Rott Shaham, Tomer Michaeli,
• Abstract要約: テキスト・ツー・イメージ・モデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使用しないことが多いことを示す。 これは、一般的な信念とは裏腹に、テキスト・ツー・イメージのモデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使わないことが多いことを示している。
• 参考スコア（独自算出の注目度）: 37.573078297644415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/
• Abstract（参考訳）: テキスト・ツー・イメージのモデルは、人間の意図に対する主要なインターフェースとしてテキスト・プロンプトに依存している。 プロンプトは、テキストエンコーダによって、画像生成プロセスの条件である埋め込みに符号化される。 個々のトークンの意味を超えて、テキスト埋め込みはコンポジション性や属性バインディングといったフルプロンプトのコンテキスト情報をエンコードする。 しかし、このリッチな情報を実際に活用する画像モデルが未調査のままである。 テキスト表現のどの側面が画像生成に欠かせないのか? テキスト・ツー・イメージ拡散変換器をベースとしたモデルでは,テキスト表現の比較的単純な2つの側面にのみ依存することを示す。 (i)複数のトークンにまたがる単語について、隣接するトークンを単語表現にマージすること (ii)テキストエンコーダの位置埋め込みによって印字される語順。 これを示すために、個々の単語の意味と順序だけを符号化する新しいテキスト埋め込みを構築するが、フルプロンプトに関する文脈情報がない。 この位置タグ付き単語表現の袋は、画像生成をうまく導くのに十分であり、完全なテキスト埋め込み誘導生成と同等の視覚的品質とテキスト忠実性を達成するのに十分である。 これは、一般的な信念とは裏腹に、テキスト・ツー・イメージのモデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使わないことが多いことを示している。 代わりに、複雑な言語構造の復号化は、画像モデル自体によって実行される。 プロジェクトWebページ: https://nsping13.github.io/contextless-TTI/

関連論文リスト

• UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
  本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。 私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。 画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
  論文  参考訳（メタデータ） (2025-11-21T03:02:10Z)
• Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis [37.32270579534541]
  利用可能なセマンティックレイアウトを活用することで,テキスト画像の対応性を向上させる新しい手法を提案する。 提案手法は,Multi-Modal CelebA-HQおよびCityscapesデータセットにおける既存のテキスト・画像生成手法と比較して,高いテキスト・画像対応を実現する。
  論文  参考訳（メタデータ） (2023-08-16T05:59:33Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• Do DALL-E and Flamingo Understand Each Other? [36.4732744974398]
  本研究では,Flamingoが与えられた画像の記述を生成し,DALL-Eがこの記述を入力として新しい画像を合成する再構成タスクを提案する。 画像の最適記述は、生成した画像が元の画像と似たものになることを示す。 本稿では,テキスト・トゥ・イメージと画像・トゥ・テキストモデルを微調整する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-23T10:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。