論文の概要: The Approximation Rank of Softmax Attention: Sharp Geometric Laws and Robust Interaction Dimension
- arxiv url: http://arxiv.org/abs/2608.28150v1
- Date: Fri, 28 Aug 2026 10:12:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.269412
- Title: The Approximation Rank of Softmax Attention: Sharp Geometric Laws and Robust Interaction Dimension
- Title（参考訳）: ソフトマックス注意の近似ランク:シャープ幾何学法則とロバスト相互作用次元
- Abstract要約: 2つの鋭い最悪のケース法則は、固定$d$とエラー$varepsilon$のサポート幾何学を分離する。
固定ヘッドの場合、行-softmaxは行-スカラーロジット方向を商化する。
84ヘッドのBERTベースキャリブレーションセットでは、多くのヘッド温度設定において、控えめな有効次元の低減が観察される。
- 参考スコア（独自算出の注目度）: 6.5186553168895385
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Which geometry controls the rank complexity of normalized softmax attention? We study maximum-row-$\ell_1$ approximation rank, exactly the least unrestricted rank preserving every bounded vector-valued output. Two sharp worst-case laws isolate support geometry: for fixed $d$ and error $\varepsilon$, spherical self-attention has rank $Θ_{d,\varepsilon}(\min\{n,(1+β)^{(d-1)/2}\})$, while full-ball geometry adds one radial degree and, for $β\geβ_0(d,\varepsilon)$ and $n\ge C_d e^{β/8}$, gives $Θ_{d,\varepsilon}(β^{d/2})$. For a fixed head, row-softmax quotients out row-scalar logit directions: the remaining visible query--key interaction dimension $r$ yields an $r/2$ per-instance upper law, and bounded constructions show this exponent is minimax sharp. Approximate interaction subspaces incur an explicit residual output error and yield a tolerance-indexed SVD dimension. On an 84-head BERT-base calibration set, we observe modest effective-dimension reductions across many head--temperature settings, together with positive associations with finite constructive rank upper certificates. Together, these results separate support geometry, which sets worst-case temperature scaling, from softmax-visible interaction geometry, which controls per-head approximation complexity.
- Abstract（参考訳）: 正規化ソフトマックスアテンションのランク複雑性を制御する幾何
最大-row-$\ell_1$近似ランクは、すべての有界ベクトル値出力を保存する最小の非制限ランクである。
固定$d$とエラー$\varepsilon$の場合、球面自己アテンションは階数$ s_{d,\varepsilon}(\min\{n,(1+β)^{(d-1)/2}\})$であるのに対し、フルボール幾何学は1つの放射度を加算し、$β\geβ_0(d,\varepsilon)$と$n\ge C_d e^{β/8}$の場合は$ s_{d,\varepsilon}(β^{d/2})$である。
行-softmax は行-スカラーのロジット方向を引用する: 残りのクエリ-キー相互作用の次元 $r$ は、インスタンスごとの上限法則を$r/2$ し、有界な構造は、この指数がミニマックスシャープであることを示している。
近似相互作用部分空間は明示的な残差出力誤差を発生させ、許容指数のSVD次元を生成する。
84ヘッドのBERTベースキャリブレーションセット上では, 有限構成的上位証明書との正の相関とともに, 多くの高温環境において, 適度な有効次元の減少を観測する。
これらの結果と合わせて、最悪の温度スケーリングを規定するサポート幾何学と、頭部ごとの近似複雑性を制御するソフトマックス可視相互作用幾何学とを分離する。
関連論文リスト
- Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality [0.0]
Kolmogorov-Arnold Networks (KAN) はディープアーキテクチャにおける固定アクティベーションを置き換える。
バナッハ双対写像から導かれるエッジ活性化の族。
学習可能な指数は解釈可能な相対的な信号を与える。
論文 参考訳（メタデータ） (2026-08-26T13:53:13Z) - Common-Center Geometry and Certified Radial Reconstruction for Energy-Form Full Conformal Regions [5.188221150628459]
この注記は、経験的エネルギー形対のスコアによって生成される共形予測(FullCP)領域の幾何学に焦点を当てる。
12ドルと$mge2$の場合、明示的なデータチェック可能な微分境界は、ラジアル出口と正確な共形ラジアル関数のリプシッツ制御を与える。
論文 参考訳（メタデータ） (2026-08-25T07:38:04Z) - Near-Optimal Dimension Lower Bounds for Single-Vector Embeddings of Maximum Inner Product Similarity [75.14269295861845]
シングルトンクエリでは、Chamferは最大内部積類似度(MAX-IP)になる。
すべての固定$in(0,1)$に対して、定数は$A_,c_>0$である。
単位球MAX-IPマトリクスは、DNFパターンマトリクスの正確な2値アフィンイメージであり、少なくとも8ドルのギャップがある。
論文 参考訳（メタデータ） (2026-07-22T17:27:20Z) - Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。
これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
論文 参考訳（メタデータ） (2026-05-22T15:05:33Z) - Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds [61.14405512940818]
Scoreベースの生成モデルは高次元空間で訓練されていることを示す。
有限固有アンカーとガウス・ニュートンによる最も近い射影座標のReLU実装を用いる。
論文 参考訳（メタデータ） (2026-05-15T10:20:05Z) - Hardness of High-Dimensional Linear Classification [58.29089693778071]
我々は、最大半空間離散性問題に対する次元下界の新たな指数関数を確立する。
どちらも計算幾何学と機械学習の基本的問題であり、その正確で近似的な形式である。
論文 参考訳（メタデータ） (2026-03-19T15:53:41Z) - Ghosts of Softmax: Complex Singularities That Limit Safe Step Sizes in Cross-Entropy [0.0]
クロスエントロピートレーニング分析は、提案されたステップが目標を減少させるかどうかを予測するために、損失の局所的なテイラーモデルに依存する。
提案した更新方向に沿って,ロジット線形化の下で閉形式式を導出する。
_a$の正規化は、標準偏差$0.992$から$0.164$へのオンセット閾値の広がりを縮小する。
論文 参考訳（メタデータ） (2026-03-13T19:42:12Z) - The Sample Complexity Of ERMs In Stochastic Convex Optimization [13.896417716930687]
実際に$tildeO(fracdepsilon+frac1epsilon2)$データポイントも十分であることを示す。
さらに、この結果を一般化し、全ての凸体に対して同様の上界が成り立つことを示す。
論文 参考訳（メタデータ） (2023-11-09T14:29:25Z) - Localization in 1D non-parametric latent space models from pairwise
affinities [6.982738885923206]
対の親和性から一次元トーラスにおける潜伏位置を推定する問題を考察する。
高確率でsqrtlog(n)/n$の順序の最大誤差で全ての潜伏位置を確実にローカライズする推定手順を導入する。
論文 参考訳（メタデータ） (2021-08-06T13:05:30Z) - Improved Reconstruction of Random Geometric Graphs [3.930410971186142]
ランダムな幾何グラフの古典的モデルを考えると、$n$の点が一様に領域$n$の正方形に散らばっている。
グラフ距離と近距離推定のハイブリッドを用いてユークリッド距離を推定する。
本手法は, グラフ距離と近辺点数に基づく短距離推定のハイブリッドを用いてユークリッド距離を推定する。
論文 参考訳（メタデータ） (2021-07-29T20:37:28Z) - Near-Optimal Regret Bounds for Contextual Combinatorial Semi-Bandits
with Linear Payoff Functions [53.77572276969548]
我々は、C$2$UCBアルゴリズムが分割マトロイド制約に対して最適な後悔結合$tildeO(dsqrtkT + dk)$を有することを示した。
一般的な制約に対して,C$2$UCBアルゴリズムで腕の報酬推定値を変更するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-20T04:29:18Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。