論文の概要: Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2607.19139v2
• Date: Thu, 30 Jul 2026 16:07:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 15:03:13.998449
• Title: Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
• Title（参考訳）: テキストテンプレートトークンは拡散変換器の意味的レジスタである
• Authors: Maohua Li, Qirui Li, Yanke Zhou, Yiduo Li, Zhaosheng Chi, Chao Xu, Cuifeng Shen, Yixuan Xu, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang,
• Abstract要約: テキスト・ツー・イメージ拡散変換器(DiT)は,共同注意による画像生成を行う。 大規模なDiTでは、条件付け入力はユーザープロンプトだけでなくチャットテンプレートトークンも含んでいる。 本稿では,これらのトークンが量子化計算にどのように関与するかを調べるために,因果的解釈可能性フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 16.996490884328455
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern text-to-image diffusion transformers (DiTs) generate images through joint attention, in which text and image tokens interact directly within a single sequence. In large-scale DiTs, the conditioning input contains not only the user prompt but also chat-template tokens introduced by LLM-based text encoders. Yet how these tokens participate in the denoising computation remains poorly understood. To probe this, we introduce a causal interpretability framework. Using it to separate prompt-content tokens from chat-template tokens, we find that the template tokens carry little prompt-specific information at the encoder output. Yet surprisingly, they emerge as dominant image-to-text attention sinks and causally maintain object identity inside the DiT, acting as implicit semantic registers. We show that they acquire this identity indirectly. Rather than reading the prompt tokens, they draw the identity from the image latents into which the prompt semantics have already been injected at the very first layer. We further reveal a division of labor across heads and depth in DiTs, where distinct heads route semantics or render visual structure, and identity is committed in early blocks, carried by middle blocks, and refined in late ones. As a practical payoff, this analysis yields a training-free pruning rule that removes the causally inert prompt-reading heads and cuts $20\%$ of joint-attention FLOPs at a $1.4$-point cost in GenEval accuracy. Overall, our work not only reveals that the tokens encoding semantics at the input need not be those that maintain them during generation, but also provides a causal view of internal mechanisms in diffusion transformers.
• Abstract（参考訳）: 現代のテキスト・ツー・イメージ拡散変換器(DiT)は、テキストと画像トークンが1つのシーケンス内で直接相互作用する、共同注意による画像を生成する。 大規模DiTでは、条件付け入力はユーザプロンプトだけでなく、LLMベースのテキストエンコーダによって導入されたチャットテンプレートトークンも含んでいる。 しかし、これらのトークンがどのようにデノナイズ計算に参加するのかは、いまだに理解されていない。 そこで本研究では,因果的解釈可能性の枠組みを導入する。 チャットテンプレートトークンからプロンプトコンテンツトークンを分離するために,テンプレートトークンはエンコーダ出力において,プロンプト固有の情報をほとんど持たないことがわかった。 さらに驚くべきことに、それらは画像からテキストへの注目のシンクとして登場し、暗黙的なセマンティックレジスタとして機能する、DiT内のオブジェクトアイデンティティを慎重に維持する。 このアイデンティティを間接的に取得することを示します。 プロンプトトークンを読む代わりに、プロンプトセマンティクスが第1層ですでに注入されているイメージラテントからアイデンティティを描画する。 さらに、異なる頭部がセマンティクスをルートしたり、視覚構造を描画したり、初期ブロックでアイデンティティが実行され、中間ブロックで運ばれ、後期ブロックで洗練されるような、頭と深度にわたる作業の分割を明らかにします。 実際の支払いとして、この分析はトレーニングなしのプルーニングルールを導き、因果的に不活性なプロンプト読み取りヘッドを除去し、GenEvalの精度で1.4$ポイントのコストで共同注意型FLOPの20$%をカットする。 全体として、我々の研究は、入力のセマンティクスを符号化するトークンが、世代間保持するトークンであるだけでなく、拡散トランスフォーマーの内部メカニズムの因果的ビューも提供することを明らかにしている。

関連論文リスト

• Token-to-Token Alignment of Text Embeddings for Semantic Blending [55.88554156801394]
  本稿では,プロンプト間のトークン間の明示的な意味的対応を確立するフレームワークであるToken-to-Tokenアライメントを紹介する。 この結果から,テキストから画像への埋め込み空間は,表現が適切に整列されたときにアクセス可能な連続的な意味構造を暗黙的に符号化していることがわかった。
  論文  参考訳（メタデータ） (2026-06-22T23:54:40Z)
• FocusDiT: Masking Queries in Diffusion Transformers for Fine-grained Image Generation [64.71746346442445]
  拡散変圧器(DiT)は、生成拡散場において広く採用されている。 より複雑な詳細に対応する重要なクエリトークンに注目することは、きめ細かいビジュアル生成に不可欠である。 本研究では,FFNにのみ入力される重要なクエリトークンにマスキング方式を適用するFocusDiTを提案する。
  論文  参考訳（メタデータ） (2026-06-01T11:18:11Z)
• Taming Outlier Tokens in Diffusion Transformers [55.42341508886889]
  画像生成のための拡散変換器(DiT)の外部トークンについて検討する。 この現象は、現代の表現オートエンコーダ(RAE)-DiTパイプラインのエンコーダとデノイザの両方に現れる。 両コンポーネントのレジスタベースの介入であるDSR(Dual-Stage Registers)を導入する。
  論文  参考訳（メタデータ） (2026-05-06T17:59:42Z)
• Padding Tone: A Mechanistic Analysis of Padding Tokens in T2I Models [64.52046218688295]
  テキスト・ツー・イメージ(T2I)拡散モデルは、画像生成プロセスのガイドとなるエンコードプロンプトに依存している。 我々は,T2Iモデルにおいてパディングトークンが果たす役割の詳細な分析を行う。 テキストエンコーディング中、拡散過程中、または効果的に無視される場合、パディングトークンがモデルの出力に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2025-01-12T08:36:38Z)
• Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing [4.948910649137149]
  拡散変換器(DiT)は近年,テキスト誘導画像生成において顕著な成功を収めている。 マルチモーダルな情報がこのジョイント空間を集合的に形成し、合成画像のセマンティクスをいかに導くかを示す。 ゼロショットきめ細かい画像編集のための簡易かつ効果的なEncode-Identify-Manipulate (EIM) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-12T21:34:30Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [40.08368469646114]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。