論文の概要: Gaussian Equivalence for Multi-Head Self-Attention

• arxiv url: http://arxiv.org/abs/2610.10033v1
• Date: Wed, 07 Oct 2026 13:18:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.93059
• Title: Gaussian Equivalence for Multi-Head Self-Attention
• Title（参考訳）: マルチヘッド自己注意のためのガウス等価性
• Abstract要約: 我々は,ソフトマックスの注意をスコアの縮小とガウス雑音に置き換えることで,中心出力のスペクトル法則を制限できることを示した。 結果として得られた法則は、頭部割り当てと投射幅の影響を分離し、スペクトル保存型全頭共有と頭内鍵値依存を区別する。
• 参考スコア（独自算出の注目度）: 15.584040836686043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A theoretical understanding of multi-head self-attention is fundamental to the study of modern neural networks. Using random matrix theory, we establish Gaussian equivalence for multi-head self-attention: replacing softmax attention with rescaled scores plus Gaussian noise preserves the limiting spectral law of the centered output. This equivalence also covers value and output projections that depend on the keys. The resulting laws separate the effects of head allocation and projection widths, and distinguish spectrum-preserving across-head sharing from within-head key--value dependence.
• Abstract（参考訳）: マルチヘッド自己注意の理論的理解は、現代のニューラルネットワークの研究に不可欠である。 確率行列理論を用いて,マルチヘッド自己アテンションに対するガウス同値性を確立する。ソフトマックスアテンションを再スケールしたスコアに置き換えることと,ガウス雑音は中心出力の制限スペクトル則を保存する。 この等価性は、キーに依存する値と出力のプロジェクションもカバーしている。 結果として生じる法則は、ヘッドアロケーションとプロジェクション幅の影響を分離し、スペクトル保存型クロスヘッド共有とイントラヘッドキー-値依存を区別する。

関連論文リスト

• Asymptotics for Frequency Redundancies in Quantum Machine Learning Models [3.2590369830031576]
  各層で同一となるいくつかの構造的固有値選択に対して、正確な冗長性プロファイルと構造的冗長性プロファイルを導出する。 すると、このガウス極限はこれらの構成に特有ではなく、整数固有値から構築されたQFMの一般的な特徴であることを示す。
  論文  参考訳（メタデータ） (2026-09-18T15:39:12Z)
• Provable Guarantees for Spectral Structured Prediction [19.05034403749305]
  エッジフリップ雑音を持つ符号付きグラフ上でのバイナリノードラベルの復元について検討する。 我々はノードラベルの近似推論のためのグラフ構造に依存しない理論的保証を開発する。
  論文  参考訳（メタデータ） (2026-09-16T11:55:16Z)
• Multi-Head Attention as Ensemble Nadaraya-Watson Estimation: Variance Reduction, Decorrelation, and Optimal Head Diversity [0.0]
  我々は,ナダラヤ・ワトソン(NW)カーネル回帰推定器のアンサンブルとして,マルチヘッドアテンション(MHA)の厳密な理論を開発した。 MHA は H NW 推定器の構造的アンサンブルであり、それぞれがキー空間の異なる学習された射影部分空間で作用することを示す。 頭内デコリレーションの計算可能なスペクトル尺度であるHDI(Head Diversity Index)を導入し,MHA平均二乗誤差がHDIにおいて単調に減少していることを証明する。
  論文  参考訳（メタデータ） (2026-05-18T23:43:53Z)
• Minimax Rates and Spectral Distillation for Tree Ensembles [3.065243326333469]
  ランダム・フォレスト(RF)やグラデーション・ブーピング・マシン(GBM)といったツリーアンサンブルは、最も広く使われている教師付き学習者の一つである。 これらのアルゴリズムにはスペクトル的視点が採用されており、主な貢献は2つである。 RF の場合、核作用素の先頭固有関数は支配的な予測方向を捉え、GBM の場合、スムーズな行列の先頭特異ベクトルは類似の役割を果たす。
  論文  参考訳（メタデータ） (2026-05-12T09:26:00Z)
• Filtered Spectral Projection for Quantum Principal Component Analysis [1.2318267573115809]
  Filtered Spectral Projection Algorithm (FSPA) 振幅符号化された中心データに対して、アンサンブル密度行列$=sum_i p_i|_iranglelangle_i|$は共分散行列と一致する。 非中心データの場合、$$は中心化せずにPCAに対応し、標準PCAからの偏差を定量化する固有値インターレース境界を導出する。
  論文  参考訳（メタデータ） (2026-03-13T11:55:39Z)
• TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
  高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。 本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
  論文  参考訳（メタデータ） (2026-01-25T19:21:25Z)
• Principled Multimodal Representation Learning [99.53621521696051]
  マルチモーダル表現学習は、多様なデータモダリティを統合することにより、統一された表現空間を作ろうとする。 最近の進歩は、複数のモードの同時アライメントを調査しているが、いくつかの課題が残っている。 複数モーダルの同時アライメントを実現する新しいフレームワークであるPMRL(Principled Multimodal Representation Learning)を提案する。
  論文  参考訳（メタデータ） (2025-07-23T09:12:25Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
  本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。 具体的には、提案した固有値補正戦略により、固有値の均一分布が向上し、フィルタの適合能力と表現力が向上する。
  論文  参考訳（メタデータ） (2024-01-28T08:12:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。