論文の概要: Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models

• arxiv url: http://arxiv.org/abs/2610.13337v1
• Date: Fri, 09 Oct 2026 10:10:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.520551
• Title: Exploring Attention Sinks in Text-to-Image Transformers from Diffusion and Autoregressive Models
• Title（参考訳）: 拡散モデルと自己回帰モデルを用いたテキスト・画像変換器の注意シンク探索
• Abstract要約: 我々は、注意シンクが存在するか、どのように出現するか、そしてそれらが生成にどう影響するかを調査する。 双方向拡散モデルと自己回帰モデルの両方に注意シンクが出現するが、異なるパターンが現れる。 これらのパターンは生成段階によって異なり、レイヤーとヘッドのまばらなサブセットにローカライズされる。
• 参考スコア（独自算出の注目度）: 39.10005927227575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention sinks are tokens or positions that consistently receive disproportionate attention mass, often beyond what their semantic content would suggest. Despite extensive study in large language models, their behavior and functional relevance in text-to-image (T2I) Transformers remain largely unexplored. To fill this gap and better understand how text-to-image Transformers allocate and route attention, we explore this phenomenon of text-to-image transformers across bidirectional diffusion models and causal autoregressive models. Specifically, we explore whether attention sinks exist, where they emerge, and how they functionally influence generation. Through systematic attention analysis and targeted interventions, we identify that attention sinks emerge in both bidirectional diffusion and autoregressive models but exhibit distinct patterns. The autoregressive model concentrates attention on the first and global-scale tokens, whereas the bidirectional models develop sinks near modality boundaries, within text regions, and at spatial corners. Moreover, these patterns vary across generation stages and are localized to a sparse subset of layers and heads. To assess their functional relevance, we perturb sink-related heads and token positions. It turns out that perturbing sink-ranked heads produces larger average changes than non-sink comparisons, while some sink-position perturbations have limited effects on bidirectional model scores. We further introduce register tokens to redistribute attention sinks and find that several configurations preserve or modestly improve generation performance. Overall, attention sinks are architecture-, inference-stage-, and component-dependent phenomena, providing a basis for mechanistic analysis and principled attention design in text-to-image transformers.
• Abstract（参考訳）: 注意シンク(英: Attention sink)は、しばしば意味的内容が示唆する以上の、不均等な注意質量を常に受けるトークンまたは位置である。 大規模言語モデルでの広範な研究にもかかわらず、テキスト・トゥ・イメージ(T2I)変換器の動作と機能的関連性はほとんど未解明のままである。 両方向拡散モデルと因果自己回帰モデルにまたがるテキスト・ツー・イモージ・トランスフォーマーの現象を考察し,このギャップを埋め,テキスト・ツー・イモージ・トランスフォーマーのアロケーションとルート・アポイントメントの理解を深める。 具体的には、注意シンクが存在するか、どのように出現するか、そしてそれらが生成にどう影響するかを検討する。 組織的注意分析と対象的介入により、双方向拡散モデルと自己回帰モデルの両方に注意シンクが出現するが、異なるパターンを示す。 自己回帰モデルは、最初のおよびグローバルスケールのトークンに注意を集中する一方、双方向モデルは、テキスト領域内、空間角付近のシンクを発達させる。 さらに、これらのパターンは生成段階によって異なり、レイヤーとヘッドのまばらなサブセットにローカライズされる。 機能的妥当性を評価するため,シンク関連頭部とトークン位置を摂動する。 その結果、摂動型シンクランクヘッドは、非シンク比較よりも平均的な変化を生じさせる一方、いくつかのシンクポジションの摂動は、双方向モデルスコアに限定的な影響を及ぼすことが判明した。 さらに、アテンションシンクを再分配するためにレジスタトークンを導入し、いくつかの構成が生成性能を適度に維持または改善していることを確認する。 全体として、注意シンクはアーキテクチャ、推論ステージ、コンポーネントに依存した現象であり、テキスト・ツー・イメージ・トランスフォーマーにおける機械的解析と原則化された注意設計の基礎を提供する。

関連論文リスト

• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks [32.60957674853853]
  トランスフォーマー言語モデルにおける2つの繰り返し現象について検討する。 少数のトークンがいくつかのチャネルで極端な外れ値を示し、注意が沈み込み、特定のトークンが意味的関連性に関係なく不均等な注意質量を引き付けるような大規模なアクティベーション。
  論文  参考訳（メタデータ） (2026-03-05T18:59:04Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Where Am I and What Will I See: An Auto-Regressive Model for Spatial Localization and View Prediction [60.964512894143475]
  本稿では,空間的局所化とビュー予測を共同で扱う新しい自動回帰フレームワークである生成空間変換器(GST)を提案する。 本モデルでは,カメラのポーズを1つの画像から同時に推定し,新しいカメラのポーズから視点を予測し,空間認識と視覚予測のギャップを効果的に埋める。
  論文  参考訳（メタデータ） (2024-10-24T17:58:05Z)
• Unveiling and Controlling Anomalous Attention Distribution in Transformers [8.456319173083315]
  ウェイバー現象は、要素が情報への貢献に影響を与えることなく過剰な注意を吸収することを可能にする。 特定のモデルでは、位置符号化と注意パターンの違いにより、モデルによるウェイブラー要素の選択は2つの方法に分類できることがわかった。
  論文  参考訳（メタデータ） (2024-06-26T11:53:35Z)
• Evolving Attention with Residual Convolutions [29.305149185821882]
  本稿では,変圧器の性能向上を目的とした新しいメカニズムを提案する。 提案された注意メカニズムは、複数のタスクに対する様々な最新モデルに対する大幅なパフォーマンス改善を実現する。
  論文  参考訳（メタデータ） (2021-02-20T15:24:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。