論文の概要: Counting with Attention and LayerNorm: Norm Scaling and Representation Geometry

• arxiv url: http://arxiv.org/abs/2610.16653v1
• Date: Mon, 12 Oct 2026 12:09:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:06:32.222909
• Title: Counting with Attention and LayerNorm: Norm Scaling and Representation Geometry
• Title（参考訳）: 注意とレイヤノームのカウント:ノームスケーリングと表現幾何学
• Abstract要約: 単一注意層におけるカウントのコストを最大で$L$まで調べる。 主に回帰読み出しに焦点を当てるが、分類読み出しも検討する。
• 参考スコア（独自算出の注目度）: 4.316506818580031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Counting is a simple task on which transformers can nevertheless fail at long sequence lengths. We study the cost of counting in a single attention layer, up to a maximum length $L$, focusing on how softmax attention and layer normalization shape the representation from which the count is recovered. We mainly focus on regression read-out but also consider classification read-out. For regression, we show unnormalized linear attention counts exactly at parameter norms independent of $L$. For softmax attention, regression cannot count exactly with finite parameters; it recovers the count after rounding, but only when the vector parameter norms grow with $L$. We measure this cost by $B_{\min}$, the smallest bound that can be placed on every trainable vector to ensure exact counting after rounding, and derive tight rates. At fixed model dimension, $B_{\min}$ grows as $L$ without normalization, as $L^{3/2}$ under bare post-normalization, and as $L^{3/4}$ with learned post-normalization. The last rate is unexpected: post-normalization discards the magnitude that carries the count and might be expected to make counting harder, yet with a learnable gain it counts at a smaller norm than softmax without normalization. Bare pre-normalization is different: it bounds the attention scores, so beyond a finite length no parameter norm suffices. A classification read-out keeps every norm bounded under every placement, but a dense head stores one output vector per count and costs more in storage. Experiments on the post-normalized model reproduce this split between the two read-outs. Together, our theoretical and empirical findings characterize how self-attention, layer-normalization placement, and read-out choice shape the representation geometry and parameter cost of counting in the minimal single-head architecture studied here.
• Abstract（参考訳）: カウントは、変圧器が長いシーケンス長で失敗する簡単なタスクである。 単一注意層におけるカウントのコストを最大で$L$まで計算し,ソフトマックスのアテンションとレイヤーの正規化がカウントを回収する表現をいかに形作るかに着目した。 主に回帰読み出しに焦点を当てるが、分類読み出しも検討する。 回帰については、$L$とは独立なパラメータノルムにおいて、正規化されていない線形注意数を示す。 ソフトマックスの注意のために、回帰は有限パラメータと正確にカウントすることはできない; ラウンド後のカウントを復元するが、ベクトルパラメータのノルムが$L$で大きくなるときのみである。 このコストを$B_{\min}$で測るが、これはすべての訓練可能なベクトルに置ける最小限のバウンダリで、丸め後の正確なカウントを保証し、タイトレートを導出する。 固定モデル次元において、$B_{\min}$は正規化なしで$L$、素のポスト正規化の下で$L^{3/2}$、学習後正規化で$L^{3/4}$として成長する。 ポスト正規化はカウントを運ぶ大きさを捨て、カウントを難しくすると予想されるが、学習可能なゲインはノーマル化なしでのソフトマックスよりも小さいノルムでカウントする。 基本的な事前正規化は異なる: 注意スコアを束縛するので、有限長を超えてもパラメータノルムは十分ではない。 分類読み出しはすべての標準を全ての配置の下に有界に保ちますが、高密度なヘッドはカウント毎に1つの出力ベクトルを格納し、ストレージにより多くのコストがかかります。 正規化後のモデルの実験では、この2つの読み出しの分割が再現された。 筆者らの理論的および実証的な知見は, 最小の単頭アーキテクチャにおいて, 自己注意, 層正規化配置, 読み出し選択が, 表現幾何学およびパラメータコストをいかに形成するかを特徴付けるものである。

関連論文リスト

• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression [65.82017723631897]
  自己正規化マルティンガレのスケール不変上界が可能であることを示す。 通常の正規化ペナルティを含まない自己正規化濃度不等式を導出する。
  論文  参考訳（メタデータ） (2026-05-02T22:39:00Z)
• Robust Layerwise Scaling Rules by Proper Weight Decay Tuning [50.11170157029911]
  現代のスケール不変アーキテクチャでは、トレーニングは急速に劣化したグラデーション状態に入る。 我々は,AdamWに対して,幅をまたいだサブ層ゲインを保ったウェイトデカイスケーリングルールを導入する。 この結果は,パラメータが設定した定常スケールを明示的に制御することにより,ほぼ入出力体制を超えて$mu$Pを拡大する。
  論文  参考訳（メタデータ） (2025-10-17T02:58:35Z)
• Closed-form $\ell_r$ norm scaling with data for overparameterized linear regression and diagonal linear networks under $\ell_p$ bias [0.0]
  パラメータノルムの族をスケールするために、統一的で高確率な特徴を与える。 次に、降下によって訓練された線形ネットワークについて研究する。
  論文  参考訳（メタデータ） (2025-09-25T13:59:22Z)
• Test Set Sizing for the Ridge Regression [51.56484100374058]
  訓練行数mが大きくなる限界において、リッジ回帰のための理想的な列車/試験分割を高精度に導出する。 このような分割が、大規模なデータ制限下で機械学習モデルに対して数学的に計算されるのは、これが初めてである。
  論文  参考訳（メタデータ） (2025-04-27T13:17:18Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• A Novel Sparse Regularizer [0.0]
  本稿では,最適化時にモデルに適用されるエントロピーの新たな尺度を最小化する正規化器を提案する。 微分可能で、単純で高速で計算し、スケール不変であり、簡単な量の追加メモリを必要とし、容易に並列化できる。
  論文  参考訳（メタデータ） (2023-01-18T03:17:36Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。