論文の概要: Spectral Degeneration of Self-Attention under Isotropic Score Geometry

• arxiv url: http://arxiv.org/abs/2611.02778v1
• Date: Mon, 02 Nov 2026 08:54:00 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:09:51.183064
• Title: Spectral Degeneration of Self-Attention under Isotropic Score Geometry
• Title（参考訳）: 等方性スコア幾何下における自己注意のスペクトル変性
• Abstract要約: 本研究では,トランスフォーマーモデルにおける自己アテンション行列のスペクトル構造を,ソフトマックス前のスコア行列に対する理想的なスペクトルモデルを用いて検討する。 問合せとキー表現の回転異方性によって動機づけられた我々のモデルは、スコア行列のランダムトークン空間配向を正準特異値代表と対数スパイク-バルク分離に置き換える。
• 参考スコア（独自算出の注目度）: 1.0026496861838448
• License:
• Abstract: We study the spectral structure of the self-attention matrix in Transformer models through an idealized spectral model for the pre-softmax score matrix. Motivated by the rotational isotropy of query and key representations, our model replaces the random token-space orientation of the score matrix by its canonical singular-value representative with a logarithmic spike--bulk separation. Empirical diagnostics on pretrained vision and language transformers motivate this model: token-space singular matrices have nearly uniform eigen-angle distributions, and score spectra are dominated by a small number of effective directions. We then prove that the row-wise softmax map transforms this structure into a degenerate attention matrix: dominant modes are preserved, whereas the bulk spectral distributions concentrate at zero. Stable rank remains bounded for bidirectional attention but grows logarithmically for causal attention. Within the canonical model, these results explain how attention can preserve a small number of dominant directions while compressing the remaining bulk modes.
• Abstract（参考訳）: 本研究では,トランスフォーマーモデルにおける自己アテンション行列のスペクトル構造を,ソフトマックス前のスコア行列に対する理想的なスペクトルモデルを用いて検討する。 問合せとキー表現の回転異方性によって動機づけられた我々のモデルは、スコア行列のランダムトークン空間配向を正準特異値代表と対数スパイク-バルク分離に置き換える。 トークン空間特異行列はほぼ均一な固有角分布を持ち、スコアスペクトルは少数の有効方向で支配される。 次に、行方向のソフトマックス写像が、この構造を縮退した注意行列に変換することを証明した:支配モードは保存されるが、バルクスペクトル分布は0に集中する。 安定した階級は、双方向の注意のために制限されるが、因果的注意のために対数的に成長する。 標準モデルにおいて、これらの結果は、残りのバルクモードを圧縮しながら、注意がどのように少数の支配的な方向を維持するかを説明する。

関連論文リスト

• Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis [54.1075866464923]
  近年の研究では、データに対するパワーロースペクトル条件は、決定論的勾配勾配の厳密な収束境界を可能にすることが確認されている。 この結果を高次元機械学習の体制に拡張する。 我々の結果は、抽象スペクトル理論と実践的な訓練選択のギャップを埋め、データの最適化速度の統一的な画像を提供する。
  論文  参考訳（メタデータ） (2026-09-28T21:01:43Z)
• Orthogonal Witness Control for Muon Optimization via Sigmoid Spectral Reshaping [13.265026498427831]
  EmphSoren (textSpec textbfOrtho textbfReshapitextbfng) は勾配の特異部分空間を保存し、その特異値に有界モノトンシグモノイド変換を適用した行列である。 これはスペクトルを完全に平坦にすることなく支配的なモードを滑らかに圧縮する。
  論文  参考訳（メタデータ） (2026-09-27T04:21:51Z)
• Preconditioning Benefits of Spectral Orthogonalization in Muon [50.62925024212989]
  線形変圧器の行列分解と文脈内学習の2つのケーススタディにおいて,ミュオンの簡易版の有効性について検討した。 解析の結果,Muonのダイナミクスはスペクトル領域内の独立したスカラー配列の集合に分解され,それぞれが同様の収束挙動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2026-01-20T00:08:31Z)
• Gaussian Equivalence for Self-Attention: Asymptotic Spectral Analysis of Attention Matrix [13.866041299126207]
  自己注意層は、現代のディープニューラルネットワークの基本的な構成要素となっている。 本稿では,注目行列の特異値スペクトルを厳密に解析し,注目のための最初のガウス同値性結果を確立する。
  論文  参考訳（メタデータ） (2025-10-08T06:13:42Z)
• Site Basis Excitation Ansatz for Matrix Product States [0.0]
  本稿では, 1次元量子格子系の基本励起スペクトルを計算するために用いられるタンジェント空間励起アンサッツの簡易かつ効率的な変化を紹介する。 バンド理論のワニエ関数に類似したワニエ励起を構成する方法を示し、すべての部位に翻訳されたワニエ励起は、すべてのモーメントに対して正確に1つのマグノンモードを再構築することができる。
  論文  参考訳（メタデータ） (2025-09-07T23:05:55Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Asymptotic Gaussian Fluctuations of Eigenvectors in Spectral Clustering [24.558241146742205]
  一般スパイクランダム行列モデルの信号$$$のノイズ構造は、対応するGramカーネル行列の固有ベクトルに転送される。 このCLTライクな結果は、スペクトルクラスタリングの分類性能を正確に予測する最後の欠落点であった。
  論文  参考訳（メタデータ） (2024-02-19T17:25:12Z)
• Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
  本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。 具体的には、提案した固有値補正戦略により、固有値の均一分布が向上し、フィルタの適合能力と表現力が向上する。
  論文  参考訳（メタデータ） (2024-01-28T08:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。