論文の概要: Sinkhorn doubly stochastic attention rank decay analysis

• arxiv url: http://arxiv.org/abs/2604.07925v1
• Date: Thu, 09 Apr 2026 07:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-10 18:34:05.774932
• Title: Sinkhorn doubly stochastic attention rank decay analysis
• Title（参考訳）: シンクホーン2倍の確率的注意ランク減衰解析
• Abstract要約: Sinkhornアルゴリズムで正規化された2重の注意が、標準のSoftmax行確率よりも効果的にランクを保っていることを示す。 シンクホーン正規化(英語版)を用いるとき、純粋自己アテンションランクの減衰の理論的境界を導出し、そのランクが深さと指数関数的に2つに崩壊することを発見する。
• 参考スコア（独自算出の注目度）: 1.376408511310322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The self-attention mechanism is central to the success of Transformer architectures. However, standard row-stochastic attention has been shown to suffer from significant signal degradation across layers. In particular, it can induce rank collapse, resulting in increasingly uniform token representations, as well as entropy collapse, characterized by highly concentrated attention distributions. Recent work has highlighted the benefits of doubly stochastic attention as a form of entropy regularization, promoting a more balanced attention distribution and leading to improved empirical performance. In this paper, we study rank collapse across network depth and show that doubly stochastic attention matrices normalized with Sinkhorn algorithm preserve rank more effectively than standard Softmax row-stochastic ones. As previously shown for Softmax, skip connections are crucial to mitigate rank collapse. We empirically validate this phenomenon on both sentiment analysis and image classification tasks. Moreover, we derive a theoretical bound for the pure self-attention rank decay when using Sinkhorn normalization and find that rank decays to one doubly exponentially with depth, a phenomenon that has already been shown for Softmax.
• Abstract（参考訳）: 自己維持メカニズムは、Transformerアーキテクチャの成功の中心である。 しかし、標準的な行確率的注意は層間の信号劣化に悩まされていることが示されている。 特に、高度に集中した注意分布を特徴とするエントロピー崩壊と同様に、ランク崩壊を誘発し、より均一なトークン表現をもたらす。 最近の研究は、エントロピー正規化の一形態として、二重確率的注意の利点を強調し、よりバランスの取れた注意分布を促進し、経験的パフォーマンスの向上につながった。 本稿では,ネットワーク深度にまたがるランク崩壊について検討し,Sinkhornアルゴリズムで正規化された2つの確率的注意行列が,標準的なSoftmax行確率行列よりも効率的にランクを保っていることを示す。 これまでSoftmaxで示されていたように、スキップ接続はランク崩壊を緩和するために不可欠である。 我々はこの現象を感情分析と画像分類の両方で実証的に検証した。 さらに、シンクホーン正規化(英語版)を用いるとき、純粋自己アテンションランク減衰の理論的境界を導出し、そのランク減衰が深さとともに2倍指数的に指数関数的に現れることを発見した。

関連論文リスト

• The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers [0.0]
  変圧器のタスク内在容量のスペクトル概念であるエントロピック境界について検討する。 まず、線形注意代数学において、トークン混合作用素の内在ランク$r*$が厳密な下界であることを証明する。 そして、これが真に注目を集めるかどうかを尋ねる。 これに感銘を受けた本質的な階級の注意を喚起する。
  論文  参考訳（メタデータ） (2026-07-25T05:27:52Z)
• The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity [22.040532283910522]
  この研究は、この現象のテクトメカニスティックな説明を提供する。 我々はそのルーツを自己注意に固有の価値集約プロセスに遡る。 概念実証として,事前学習時の値アグリゲーション出力を安定化するアーキテクチャ変更であるtextithead-wise RMSNormを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:28:55Z)
• A Statistical Theory of Gated Attention through the Lens of Hierarchical Mixture of Experts [80.98474052840929]
  ゲーテッドアテンションは、標準アテンションにおける低ランクマッピングの表現性を高めることを実証的に実証されている。 有向注意行列や多頭部自己注意行列の各項目は、専門家の階層的な混合として記述できることを示す。
  論文  参考訳（メタデータ） (2026-02-01T22:22:13Z)
• A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training [86.64715217940274]
  外接線は正規化と共に機能する。 アウトリーチは、コントリビュータではなく、再スケール要因として役立ちます。 外乱は学習可能なパラメータに吸収されるか、明示的なゲート再スケーリングによって緩和される。
  論文  参考訳（メタデータ） (2026-01-30T13:29:45Z)
• Towards Anomaly-Aware Pre-Training and Fine-Tuning for Graph Anomaly Detection [59.042018542376596]
  グラフ異常検出(GAD)は近年注目度が高まりつつあるが、2つの重要な要因があるため、依然として困難である。 Anomaly-Aware Pre-Training and Fine-Tuning (APF)は、GADの課題を軽減するためのフレームワークである。 10のベンチマークデータセットに関する総合的な実験は、最先端のベースラインと比較してAPFの優れたパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• On the Emergence of Position Bias in Transformers [59.87743433861665]
  本稿では,多層構造における位置バイアスを解析するためのグラフ理論フレームワークを提案する。 我々のフレームワークは、トランスにおける位置的相互作用を理解するための原則的な基盤を提供する。
  論文  参考訳（メタデータ） (2025-02-04T02:53:07Z)
• Mind the Gap: a Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers [3.686808512438363]
  ソフトマックスに基づく注意の代替は、効果的な情報の流れを妨げる傾向があるためである。 我々は、注目行列の2つの最大の特異勾配の間のスペクトルギャップを明らかにするために厳密な解析を行う。 外れ値を取り除き、広さのランク崩壊を解消する新しい簡単な実用的解法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:34:18Z)
• On the Role of Attention Masks and LayerNorm in Transformers [55.81177251872377]
  自己注意はトランスの鍵となるメカニズムである。 近年の研究では、純粋な自己意識は階級崩壊の度合いが増すことが示されている。
  論文  参考訳（メタデータ） (2024-05-29T05:41:28Z)
• Self-attention Networks Localize When QK-eigenspectrum Concentrates [9.379890125442335]
  自己認識メカニズムは、現代の機械学習で一般的である。 2つの議論が、モデルのパフォーマンスに注意を向けるローカライゼーションを結び付けている。 我々は,小さな固有スペクトルの分散が注意を局所化させることを示した。
  論文  参考訳（メタデータ） (2024-02-03T09:35:53Z)
• Stabilizing Transformer Training by Preventing Attention Entropy Collapse [56.45313891694746]
  本研究は,トランスフォーマーのトレーニングダイナミクスについて,注目層の進化について検討する。 我々は、$sigma$Reparamが注意層におけるエントロピー崩壊を防ぎ、より安定したトレーニングを促進することを示す。 画像分類、画像自己教師型学習、機械翻訳、音声認識、言語モデリングタスクについて、$sigma$Reparamで実験を行った。
  論文  参考訳（メタデータ） (2023-03-11T03:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。