論文の概要: Text-to-Image Models Need Less from Text Encoders Than You Think

• arxiv url: http://arxiv.org/abs/2606.03715v1
• Date: Tue, 02 Jun 2026 14:37:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.073186
• Title: Text-to-Image Models Need Less from Text Encoders Than You Think
• Title（参考訳）: テキストエンコーダから必要最小限のテキスト・ツー・イメージモデル
• Abstract要約: テキスト・ツー・イメージ・モデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使用しないことが多いことを示す。 これは、一般的な信念とは裏腹に、テキスト・ツー・イメージのモデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使わないことが多いことを示している。
• 参考スコア（独自算出の注目度）: 37.573078297644415
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Text-to-image models rely on text prompts as their primary interface to human intent. Prompts are encoded by a text encoder into embeddings that condition the image generation process. Beyond individual token meanings, text embeddings encode contextual information across the full prompt, such as compositionality and attribute binding. However, whether image models actually exploit this richer information remains underexplored. Here, we address the question: Which aspects of text representation are essential for image generation? We show that text-to-image diffusion transformer-based models commonly rely only on two relatively straightforward aspects of text representations: (i) the merging of adjacent tokens into a word representation, for words spanning multiple tokens, and (ii) word order, which is imprinted by the positional embedding of the text-encoder. To show this, we construct a new text embedding that encodes only individual word meanings and order but lacks any contextual information about the full prompt. We find that this bag of position-tagged words representation is sufficient to successfully guide image generation, achieving visual quality and text fidelity that are on par with full text embedding-guided generation. This demonstrates that, contrary to common belief, text-to-image models often do not use the rich information encoded in the text embedding beyond individual word meanings and word order. Instead, the decoding of complex linguistic structures is performed by the image model itself. Project webpage: https://nsping13.github.io/contextless-TTI/
• Abstract（参考訳）: テキスト・ツー・イメージのモデルは、人間の意図に対する主要なインターフェースとしてテキスト・プロンプトに依存している。 プロンプトは、テキストエンコーダによって、画像生成プロセスの条件である埋め込みに符号化される。 個々のトークンの意味を超えて、テキスト埋め込みはコンポジション性や属性バインディングといったフルプロンプトのコンテキスト情報をエンコードする。 しかし、このリッチな情報を実際に活用する画像モデルが未調査のままである。 テキスト表現のどの側面が画像生成に欠かせないのか? テキスト・ツー・イメージ拡散変換器をベースとしたモデルでは,テキスト表現の比較的単純な2つの側面にのみ依存することを示す。 (i)複数のトークンにまたがる単語について、隣接するトークンを単語表現にマージすること (ii)テキストエンコーダの位置埋め込みによって印字される語順。 これを示すために、個々の単語の意味と順序だけを符号化する新しいテキスト埋め込みを構築するが、フルプロンプトに関する文脈情報がない。 この位置タグ付き単語表現の袋は、画像生成をうまく導くのに十分であり、完全なテキスト埋め込み誘導生成と同等の視覚的品質とテキスト忠実性を達成するのに十分である。 これは、一般的な信念とは裏腹に、テキスト・ツー・イメージのモデルは、個々の単語の意味や単語の順序を超えて埋め込まれたテキストに符号化されたリッチな情報を使わないことが多いことを示している。 代わりに、複雑な言語構造の復号化は、画像モデル自体によって実行される。 プロジェクトWebページ: https://nsping13.github.io/contextless-TTI/

関連論文リスト

• UniModel: A Visual-Only Framework for Unified Multimodal Understanding and Generation [51.31795451147935]
  本稿では,単一のピクセル間拡散フレームワーク内での視覚的理解と視覚的生成を支援する統合生成モデルを提案する。 私たちのゴールは、モデル、タスク、表現の3つの軸に沿った統一を達成することです。 画像間合成と画像間理解の実験は、強いモーダルアライメントを示す。
  論文  参考訳（メタデータ） (2025-11-21T03:02:10Z)
• ITI-GEN: Inclusive Text-to-Image Generation [56.72212367905351]
  本研究では,人書きプロンプトに基づいて画像を生成する包括的テキスト・画像生成モデルについて検討する。 いくつかの属性に対して、画像はテキストよりも概念を表現的に表現できることを示す。 Inclusive Text-to- Image GENeration に容易に利用可能な参照画像を活用する新しいアプローチ ITI-GEN を提案する。
  論文  参考訳（メタデータ） (2023-09-11T15:54:30Z)
• Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis [37.32270579534541]
  利用可能なセマンティックレイアウトを活用することで,テキスト画像の対応性を向上させる新しい手法を提案する。 提案手法は,Multi-Modal CelebA-HQおよびCityscapesデータセットにおける既存のテキスト・画像生成手法と比較して,高いテキスト・画像対応を実現する。
  論文  参考訳（メタデータ） (2023-08-16T05:59:33Z)
• TextDiffuser: Diffusion Models as Text Painters [118.30923824681642]
  我々は、背景に忠実な視覚的に魅力的なテキストで画像を生成することに焦点を当てたTextDiffuserを紹介した。 我々は,OCRアノテーションを用いた最初の大規模テキスト画像データセットであるMARIO-10Mに,1000万の画像テキストペアをコントリビュートする。 テキストプロンプトのみまたはテキストテンプレート画像と併用して高品質なテキスト画像を作成し,テキストによる不完全な画像の再構成を行う,テキストディフューザは柔軟かつ制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T10:16:19Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Do DALL-E and Flamingo Understand Each Other? [36.4732744974398]
  本研究では,Flamingoが与えられた画像の記述を生成し,DALL-Eがこの記述を入力として新しい画像を合成する再構成タスクを提案する。 画像の最適記述は、生成した画像が元の画像と似たものになることを示す。 本稿では,テキスト・トゥ・イメージと画像・トゥ・テキストモデルを微調整する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-23T10:46:56Z)
• RewriteNet: Realistic Scene Text Image Generation via Editing Text in Real-world Image [17.715320405808935]
  シーンテキスト編集(STE)は、テキストとスタイルの複雑な介入のために難しい作業である。 本稿ではRewriteNetと呼ばれる新しい表現学習型STEモデルを提案する。 我々の実験は、RewriteNetが他の比較よりも定量的かつ定性的な性能を達成することを示した。
  論文  参考訳（メタデータ） (2021-07-23T06:32:58Z)
• Text to Image Generation with Semantic-Spatial Aware GAN [41.73685713621705]
  テキストから画像生成(T2I)モデルは、テキスト記述と意味的に一致するフォトリアリズム画像を生成することを目的としている。 本稿では,テキストエンコーダがより良いテキスト情報を活用できるように,エンドツーエンドで訓練された新しいフレームワークSemantic-Spatial Aware GANを提案する。
  論文  参考訳（メタデータ） (2021-04-01T15:48:01Z)
• Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach [84.22327278486846]
  本稿では,画像から画像への変換に基づく新しい教師なしの手法を提案する。 本モデルは視覚的属性から画像内容を切り離し,テキスト記述を用いて後者を変更することを学習する。 実験により,提案モデルが2つの大規模公開データセットに対して有望な性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-08-10T15:40:05Z)
• Text-Guided Neural Image Inpainting [20.551488941041256]
  塗装作業では、劣化した画像をコンテキストに整合した内容で埋める必要がある。 本論文の目的は, 提供される記述文に従って, 劣化画像中の意味情報を埋めることである。 テキストガイドデュアルアテンション・インパインティング・ネットワーク(TDANet)という新しいインパインティング・モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-07T09:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。