論文の概要: Attention Sinks in Diffusion Transformers: A Causal Analysis

• arxiv url: http://arxiv.org/abs/2605.09313v1
• Date: Sun, 10 May 2026 04:14:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.185351
• Title: Attention Sinks in Diffusion Transformers: A Causal Analysis
• Title（参考訳）: 拡散変圧器の注意シンク:因果解析
• Authors: Fangzheng Wu, Brian Summa,
• Abstract要約: テキスト・画像拡散における因果解析について述べる。 我々は,時間経過毎に主観的注意を抽出し,ペアによる無訓練介入によって抑制する。 抑制によって引き起こされる知覚の変化は、いずれにせよ、Emphsink固有の -- $sim!6times$等予算のランダムマスクよりも大きい。
• 参考スコア（独自算出の注目度）: 1.9336815376402718
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Attention sinks -- tokens that receive disproportionate attention mass -- are assumed to be functionally important in autoregressive language models, but their role in diffusion transformers remains unclear. We present a causal analysis in text-to-image diffusion, dynamically identifying dominant attention recipients per timestep and suppressing them via paired, training-free interventions on the score and value paths. Across 553 GenEval prompts on Stable Diffusion~3 (with SDXL corroboration), removing these sinks does not degrade text-image alignment (CLIP-T) or preference proxies (ImageReward, HPS-v2) at $k{=}1$; only under stronger interventions ($k\!\geq\!10$) does HPS-v2 exhibit a metric-dependent boundary, while CLIP-T remains robust throughout. The perceptual shifts induced by suppression are nonetheless \emph{sink-specific} -- $\sim\!6\times$ larger than equal-budget random masking -- revealing an empirical dissociation between trajectory-level perturbation and \emph{semantic alignment} in diffusion transformers. \footnote{Code available at https://github.com/wfz666/ICML26-attention-sink.}
• Abstract（参考訳）: 不均等な注意質量を受けるトークンである注意シンクは、自己回帰言語モデルにおいて機能的に重要であると考えられているが、拡散トランスフォーマーにおけるそれらの役割はいまだ不明である。 テキストと画像の拡散における因果解析を行い、時間ごとの注目度を動的に識別し、スコアと値パスに対するペアでトレーニング不要な介入によって抑制する。 553を超えるGenEvalは、stable Diffusion~3(SDXL corroboration)をプロンプトするが、これらのシンクを削除してもテキストイメージアライメント(CLIP-T)や選好プロキシ(ImageReward, HPS-v2)を$k{=}1$で低下させることはない。 ヘーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー 10$) HPS-v2 は計量依存的な境界を示すが、CLIP-T は依然として安定である。 抑制によって引き起こされる知覚の変化は、それでも \emph{sink-specific} -- $\sim\! 6\times $ larger than equal-budget random masking -- revealed a empirical dissociation between trajectory-level perturbation and \emph{semantic alignment} in diffusion transformer。 \footnote{Code available at https://github.com/wfz666/ICML26-attention-sink.com ※

関連論文リスト

• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• QuantSparse: Comprehensively Compressing Video Diffusion Transformer with Model Quantization and Attention Sparsification [67.15451442018258]
  拡散変換器は素晴らしいビデオ生成能力を示すが、その計算とメモリの禁止コストは実際の展開を妨げる。 モデル量子化とアテンションスパシフィケーションは圧縮に有望な2つの方向であるが、それぞれがアグレッシブ圧縮の下で深刻な性能劣化を被っている。 モデル量子化と注意散布を統合した統合フレームワークである textbfQuantSparse を提案する。
  論文  参考訳（メタデータ） (2025-09-28T06:49:44Z)
• Rethinking Cross-Modal Interaction in Multimodal Diffusion Transformers [79.94246924019984]
  マルチモーダル拡散変換器 (MM-DiT) はテキスト駆動型視覚生成において顕著な進歩を遂げている。 マルチモーダルインタラクションを動的に再バランスするパラメータ効率向上手法である textbfTemperature-Adjusted Cross-modal Attention (TACA) を提案する。 本研究は,テキスト・画像拡散モデルにおける意味的忠実度向上における相互注意のバランスの重要性を強調した。
  論文  参考訳（メタデータ） (2025-06-09T17:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。