論文の概要: Learning to Read the Contextual Tokens in Diffusion Transformers

• arxiv url: http://arxiv.org/abs/2610.06844v1
• Date: Mon, 05 Oct 2026 17:59:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 22:09:41.38318
• Title: Learning to Read the Contextual Tokens in Diffusion Transformers
• Title（参考訳）: 拡散変換器における文脈知識の学習
• Abstract要約: MM-DiT(Multimodal Diffusion Transformer)は、世代を通して視覚的およびテキスト的表現を処理する。 本稿では,この文脈空間を自然言語による問合せによって読むための枠組みを提案する。 我々は、中間文脈トークンを凍結した大言語モデルの入力空間にマッピングする軽量なボトルネックネットワークを訓練する。 本研究は,MM-DiTの内部動態の解釈可能な視点としてコンテキストトークンを確立し,生成モデルの改善に有効なターゲットとした。
• 参考スコア（独自算出の注目度）: 65.80767382192427
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multimodal Diffusion Transformers (MM-DiTs) jointly process visual and textual representations throughout generation. These models repeatedly update the text tokens through multimodal attention, forming dynamic contextual tokens whose function is not well understood. In this work, we introduce a framework for reading this contextual space through natural-language interrogation. We train a lightweight bottleneck network that maps intermediate contextual tokens into the input space of a frozen Large Language Model (LLM), allowing the LLM to answer questions about the emerging image directly from these hidden representations. Our reader reveals that contextual tokens encode a rich, global representation of the emerging scene: generation-specific semantics, including attributes left underspecified by the prompt, are accessible surprisingly early in denoising, while increasingly fine-grained details become readable over time. Remarkably, this information remains decodable even when the MM-DiT receives an empty prompt, showing that contextual tokens accumulate substantial image-specific information from the evolving visual representation itself. We further find that generations with more readable contextual representations tend to receive higher human-preference scores. Building on these observations, we introduce Contextual Alignment, a training technique that explicitly reinforces the visual-semantic information encoded in the contextual tokens, improving generation quality and distributional coverage. Together, our results establish contextual tokens as both an interpretable view into the internal dynamics of MM-DiTs and an effective target for improving generative models.
• Abstract（参考訳）: MM-DiT(Multimodal Diffusion Transformer)は、世代を通して視覚的およびテキスト的表現を共同で処理する。 これらのモデルは、マルチモーダルアテンションを通じてテキストトークンを繰り返し更新し、関数がよく理解されていない動的なコンテキストトークンを形成する。 本研究では,この文脈空間を自然言語による問合せによって読むための枠組みを提案する。 我々は、中間文脈トークンを凍結したLarge Language Model(LLM)の入力空間にマッピングする軽量なボトルネックネットワークをトレーニングし、LLMがこれらの隠れ表現から直接、出現する画像に関する質問に答えることを可能にする。 我々の読者は、出現するシーンのリッチでグローバルな表現をエンコードするコンテキストトークンを明らかにしている。 注目すべきは、MM-DiTが空のプロンプトを受信した場合でも、この情報はデオード可能であり、進化する視覚表現自体から、コンテキストトークンがかなりの画像固有情報を蓄積していることを示している。 さらに、より読みやすい文脈表現を持つ世代は、より高い人間の嗜好スコアを受け取る傾向にある。 これらの観測に基づいて、コンテキストアライメント(Contextual Alignment)を導入し、コンテキストトークンに符号化された視覚意味情報を明示的に強化し、生成品質と分布カバレッジを向上させる。 その結果,MM-DiTの内部動態の解釈可能な視点としてコンテキストトークンが確立され,生成モデルの改善に有効なターゲットとなった。

関連論文リスト

• Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers [64.4017917917109]
  テキスト・画像生成のためのマルチモーダル拡散変換器(MMDiT)は、テキストと画像の分岐を別々に維持する。 テキスト分岐におけるプロンプト表現のセマンティクスは、深さが増加するにつれて徐々に忘れられていく。 これらの知見に触発されて、我々は、早期層から後層へのプロンプト表現をリジェクションする、トレーニング不要なアプローチを導入し、このことを忘れないようにした。
  論文  参考訳（メタデータ） (2026-02-06T17:19:53Z)
• VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text? [51.02924254085878]
  VLM(Vision-Language Models)は、テキスト入力と視覚入力のクロスモーダル理解において、優れたパフォーマンスを実現している。 VISTA-Benchは、マルチモーダル認識、推論、および非モーダル理解領域のベンチマークである。
  論文  参考訳（メタデータ） (2026-02-04T17:48:55Z)
• Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations [33.11867433769496]
  本稿では,共有意味表現における視覚的理解と生成を統一する枠組みを提案する。 中心となるのはText-Aligned Tokenizer (TA-Tok) で、これは大きな言語モデル(LLM)の語彙から投影されたテキスト整列コードブックを用いて画像を個別のトークンに変換する。 ベンチマークによる実験では、Tarは既存のマルチモーダルLLMメソッドと一致し、より高速な収束とトレーニング効率の向上を実現している。
  論文  参考訳（メタデータ） (2025-06-23T17:59:14Z)
• The Narrow Gate: Localized Image-Text Communication in Native Multimodal Models [44.299894732492696]
  視覚言語モデル(VLM)は、視覚情報がどのように処理され、テキスト領域に転送されるかに焦点を当て、画像理解タスクを処理する。 テキストと画像の両方を生成するためにマルチモーダルデータのスクラッチからトレーニングされたネイティブなマルチモーダルVLMと、事前訓練された大規模言語モデルから適応された、あるいはテキストのみを生成することができる非ネイティブなマルチモーダルVLMを比較し、情報フローの重要な違いを強調した。 単一トークンを非難することは画像理解性能を著しく低下させるのに対し、ターゲットレベルの介入は画像意味論や下流テキストをきめ細かな制御で確実に操ることを示す。
  論文  参考訳（メタデータ） (2024-12-09T16:39:40Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Enhanced Modality Transition for Image Captioning [51.72997126838352]
  MTM(Modality Transition Module)を構築し、言語モデルに転送する前に視覚的機能をセマンティック表現に転送します。 トレーニング段階では、モダリティ遷移ネットワークは提案されたモダリティ損失によって最適化される。 提案手法の有効性を示すMS-COCOデータセットを用いて実験を行った。
  論文  参考訳（メタデータ） (2021-02-23T07:20:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。