論文の概要: Emergent Inverse-Depth Scaling From Nonlinearity In Attention

• arxiv url: http://arxiv.org/abs/2610.11063v1
• Date: Thu, 08 Oct 2026 01:23:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.721193
• Title: Emergent Inverse-Depth Scaling From Nonlinearity In Attention
• Title（参考訳）: 非線形注意からの創発的逆深さスケーリング
• Abstract要約: 本研究は, 非線形注意が全試験データスペクトルにおける損失の逆深度減衰を生じさせることを示す。 以上の結果から,大規模言語モデルが局所的に集中できる非線形性から,深度スケーリングが生じる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 20.539209092756032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws describe power-law improvements in model performance with dataset size and parameter count, yet their underlying mechanisms are not fully understood. To explain the parameter count scaling, existing theory posits power-law scaling with model depth. In linear-attention models, this scaling is tied to a power-law data spectrum: unable to selectively attend to relevant tokens, these models learn according to global spectral strength, with stronger directions learned before weaker ones. Large language models, however, can be strongly nonlinear. Here, we show that nonlinear attention yields inverse-depth decay of loss across all tested data spectra. Nonlinearity enables attention to focus selectively on relevant tokens, allowing strong and weak spectral directions to be learned in parallel. Similar focusing across layers motivates a connection to the central limit theorem: shared error across layers sets the loss plateau, while aggregation turns layer-specific differences into continued gains with depth. Our findings suggest that depth scaling may arise from nonlinearity in attention, which allows large language models to focus locally and may make the global covariance structure less relevant.
• Abstract（参考訳）: スケーリング法則は、データセットサイズとパラメータカウントによるモデルパフォーマンスのパワー-ローの改善を記述しているが、その基盤となるメカニズムは完全には理解されていない。 パラメータカウントスケーリングを説明するために、既存の理論はモデル深度でパワーロースケーリングを仮定する。 線形アテンションモデルでは、このスケーリングは、関連するトークンに選択的に出席できない、これらのモデルは、より弱いトークンよりも強い方向で学習する。 しかし、大きな言語モデルは強い非線形性を持つ。 ここでは、非線型注意が全ての試験データスペクトルにおける損失の逆深度減衰をもたらすことを示す。 非線形性により、注意は関連するトークンに選択的に焦点を合わせることができ、強いスペクトル方向と弱いスペクトル方向を並列に学習することができる。 層間の共有誤差は損失高原を定め、アグリゲーションは層固有の差分を深さとともに連続的な利得へと変換する。 以上の結果から,大規模言語モデルが局所的に集中し,大域的共分散構造があまり関連しないような非線形性から,深度スケーリングが生じる可能性が示唆された。

関連論文リスト

• Spectrally Deconfounded Gradient Boosting [10.803532361460741]
  我々は勾配向上のための非線形スペクトル分解フレームワークを開発する。 スペクトル損失だけでは分解は達成されないことを示す。 また、この手法を一般確率や非線形共起にまで拡張する。
  論文  参考訳（メタデータ） (2026-07-10T12:51:42Z)
• Spectral Reach: Understanding Neural Scaling as Progress into the Spectral Tail [0.17398560678845074]
  スペクトル位置」は、経験的ニューラルネットワークカーネル(eNTK)の固有値が現在損失低減を駆動しているスケーラブルな尺度である。 より大きなモデルは、より小さなモデルよりもテールに到達し、"スペクトルリーチ"と呼ばれるサイズ依存キャパシティを明らかにします。 我々は,特徴学習をスペクトル到達の鍵となる要因として認識し,凍結表現が停止した場合には,学習が進行するにつれて等級を適応的に増幅する。
  論文  参考訳（メタデータ） (2026-05-29T12:43:51Z)
• Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics [0.0]
  線形化された注意はその無限幅のNTK限界に収束しないことを示す。 また、注意力と脆弱性は、カーネル体制からの離脱に共通点があることも示している。
  論文  参考訳（メタデータ） (2026-03-13T15:33:34Z)
• TensorLens: End-to-End Transformer Analysis via High-Order Attention Tensors [53.891337639229285]
  高次アテンション・インタラクション接続を通して表現された入力依存線形演算子として変換器全体をキャプチャする新しい定式化である attentionLens を導入する。 本実験は,注目テンソルが,解釈可能性とモデル理解を目的としたツール開発のための強力な基盤となることを実証した。
  論文  参考訳（メタデータ） (2026-01-25T19:21:25Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• A Random Matrix Analysis of In-context Memorization for Nonlinear Attention [18.90197287760915]
  非線形注意は、ランダムな入力に対する線形リッジ回帰よりも高い記憶誤差をもたらすことを示す。 その結果,非線形注意の記憶性能を管理するために,非線形性と入力構造がどのように相互作用するかが明らかになった。
  論文  参考訳（メタデータ） (2025-06-23T13:56:43Z)
• Random Matrix Theory for Deep Learning: Beyond Eigenvalues of Linear Models [51.85815025140659]
  現代の機械学習(ML)とディープニューラルネットワーク(DNN)は高次元のデータを扱うことが多い。 特に、データ次元、サンプルサイズ、モデルパラメータの数がすべて大きな比例規則は、新しく、時には直感に反する振る舞いを引き起こす。 本稿では、線形モデルの固有値に基づく解析を超えて従来のランダム行列理論(RMT)を拡張し、非線形MLモデルによる課題に対処する。
  論文  参考訳（メタデータ） (2025-06-16T06:54:08Z)
• Bridging the Divide: Reconsidering Softmax and Linear Attention [116.34723260730405]
  線形注意の限界を理解し緩和する2つの重要な視点を提示する。 線形注意は単射ではなく、異なるクエリベクトルに同一の注意重みを割り当てる傾向があることを証明した。 第2に,線形の注意が不足するソフトマックスの注意を成功させるためには,効果的な局所モデリングが不可欠であることを確認した。
  論文  参考訳（メタデータ） (2024-12-09T15:44:22Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers [6.548580592686076]
  深い平衡モデルは、計算の平衡点列を通じて暗黙的に定義される暗黙的な数値列を用いる。 本研究では,深い暗黙のダイナミックスと浅い信頼層のダイナミックス法のダイナミックスの関係を実証する。
  論文  参考訳（メタデータ） (2021-02-15T05:08:11Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。