論文の概要: Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2607.19139v1
- Date: Tue, 21 Jul 2026 14:29:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.454499
- Title: Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
- Title（参考訳）: テキストテンプレートトークンは拡散変換器の意味的レジスタである
- Abstract要約: テキスト・ツー・イメージ拡散変換器(DiT)はテキストと画像トークンを共同で処理するが、復調中の内部計算はあまり理解されていない。
本稿では,現代の大規模DiTに対する因果的解釈可能性フレームワークについて紹介する。
- 参考スコア（独自算出の注目度）: 16.996490884328455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text-to-image diffusion transformers (DiTs) jointly process text and image tokens, yet their internal computation during denoising remains poorly understood. We introduce a causal interpretability framework for modern large-scale DiTs that combines attention decomposition with targeted interventions across token spans, heads, and layers. Using it to separate prompt-content tokens from structural template tokens, we find that the structural tokens carry little prompt-specific information at the encoder output. Yet surprisingly, they emerge as dominant image-to-text attention sinks and causally maintain object identity inside the DiT, acting as implicit semantic registers. We show that they acquire this identity indirectly, with prompt semantics first injected into the image latents and then read back into the template tokens rather than transferred directly from the prompt tokens. Inspired by the above findings, we design a training-free pruning rule for DiTs. Heads that attend most strongly to prompt tokens are dispensable, and pruning them removes $20\%$ of attention FLOPs with only a $1.4$-point drop on GenEval. We further reveal how generative computation in DiTs is organized across heads and depth, separating semantic routing from visual synthesis and progressing from identity formation to propagation and refinement. Our work not only reveals that the tokens encoding semantics at input need not be those that maintain it during generation, but also provides a causal view of internal mechanisms in DiTs.
- Abstract（参考訳）: テキスト・ツー・イメージ拡散変換器(DiT)はテキストと画像トークンを共同で処理するが、復調中の内部計算はあまり理解されていない。
本稿では, トークンスパン, ヘッド, レイヤ間の干渉を対象とする注意分解と組み合わせた, 現代の大規模DiTに対する因果的解釈可能性フレームワークを提案する。
構造的テンプレートトークンからプロンプトコンテンツトークンを分離するために使用すると、構造的トークンはエンコーダ出力において、プロンプト固有の情報をほとんど持たないことがわかった。
さらに驚くべきことに、それらは画像からテキストへの注目のシンクとして登場し、暗黙的なセマンティックレジスタとして機能する、DiT内のオブジェクトアイデンティティを慎重に維持する。
我々は、このIDを間接的に取得し、最初にプロンプトのセマンティクスをイメージラプタントに注入し、その後、プロンプトのトークンから直接転送するのではなく、テンプレートトークンに読み返すことを示す。
以上の知見にインスパイアされた我々は,DiTのためのトレーニングフリープルーニングルールを設計した。
トークンのプロンプトに最も強く参加する頭は発行可能であり、それらを刈り取ると、GenEvalでわずか1.4ドルの値下げしかなく、20 %の注意 FLOP が取り除かれる。
さらに、視覚合成から意味的ルーティングを分離し、アイデンティティ形成から伝播と洗練へと進む。
我々の研究は、入力のセマンティクスを符号化するトークンが、生成時に保持するトークンであるだけでなく、DiTの内部メカニズムの因果的ビューも提供することを明らかにしている。
関連論文リスト
- Token-to-Token Alignment of Text Embeddings for Semantic Blending [55.88554156801394]
本稿では,プロンプト間のトークン間の明示的な意味的対応を確立するフレームワークであるToken-to-Tokenアライメントを紹介する。
この結果から,テキストから画像への埋め込み空間は,表現が適切に整列されたときにアクセス可能な連続的な意味構造を暗黙的に符号化していることがわかった。
論文 参考訳（メタデータ） (2026-06-22T23:54:40Z) - FocusDiT: Masking Queries in Diffusion Transformers for Fine-grained Image Generation [64.71746346442445]
拡散変圧器(DiT)は、生成拡散場において広く採用されている。
より複雑な詳細に対応する重要なクエリトークンに注目することは、きめ細かいビジュアル生成に不可欠である。
本研究では,FFNにのみ入力される重要なクエリトークンにマスキング方式を適用するFocusDiTを提案する。
論文 参考訳（メタデータ） (2026-06-01T11:18:11Z) - Vision-Language Binding in In-Context Image Generation [34.419605761529404]
FLUX.2のようなコンテキスト内画像生成モデルは、テキストプロンプトとオプション参照イメージを出力の視覚的条件付けとして取り込む。
テキストトークンと参照画像の間に暗黙的なクロスモーダルバインディングが現れることを示す。
さらに、テキストシーケンスのパディングトークンへの参照テキストバインディングをローカライズする。
論文 参考訳（メタデータ） (2026-05-23T15:30:19Z) - Taming Outlier Tokens in Diffusion Transformers [55.42341508886889]
画像生成のための拡散変換器(DiT)の外部トークンについて検討する。
この現象は、現代の表現オートエンコーダ(RAE)-DiTパイプラインのエンコーダとデノイザの両方に現れる。
両コンポーネントのレジスタベースの介入であるDSR(Dual-Stage Registers)を導入する。
論文 参考訳（メタデータ） (2026-05-06T17:59:42Z) - Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers [64.4017917917109]
テキスト・画像生成のためのマルチモーダル拡散変換器(MMDiT)は、テキストと画像の分岐を別々に維持する。
テキスト分岐におけるプロンプト表現のセマンティクスは、深さが増加するにつれて徐々に忘れられていく。
これらの知見に触発されて、我々は、早期層から後層へのプロンプト表現をリジェクションする、トレーニング不要なアプローチを導入し、このことを忘れないようにした。
論文 参考訳（メタデータ） (2026-02-06T17:19:53Z) - Follow the Flow: On Information Flow Across Textual Tokens in Text-to-Image Models [35.85433370296494]
テキスト・ツー・イメージ・モデルにおいて,意味情報をトークン表現に分散させる方法について検討する。
情報は通常、アイテムのトークンの1つか2つだけに集中している。
場合によっては、アイテムはお互いの表現に影響を与え、しばしば誤解を招く。
論文 参考訳（メタデータ） (2025-04-01T19:17:44Z) - Padding Tone: A Mechanistic Analysis of Padding Tokens in T2I Models [64.52046218688295]
テキスト・ツー・イメージ(T2I)拡散モデルは、画像生成プロセスのガイドとなるエンコードプロンプトに依存している。
我々は,T2Iモデルにおいてパディングトークンが果たす役割の詳細な分析を行う。
テキストエンコーディング中、拡散過程中、または効果的に無視される場合、パディングトークンがモデルの出力に影響を与える可能性がある。
論文 参考訳（メタデータ） (2025-01-12T08:36:38Z) - Latent Space Disentanglement in Diffusion Transformers Enables Precise Zero-shot Semantic Editing [4.948910649137149]
拡散変換器(DiT)は近年,テキスト誘導画像生成において顕著な成功を収めている。
マルチモーダルな情報がこのジョイント空間を集合的に形成し、合成画像のセマンティクスをいかに導くかを示す。
ゼロショットきめ細かい画像編集のための簡易かつ効果的なEncode-Identify-Manipulate (EIM) フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-12T21:34:30Z) - CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。
トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
論文 参考訳（メタデータ） (2024-07-07T15:16:19Z) - Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [40.08368469646114]
視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。
テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
論文 参考訳（メタデータ） (2024-05-26T01:46:22Z) - MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。
本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。
この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文 参考訳（メタデータ） (2023-09-08T15:53:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。