論文の概要: Emergent One-Third Scaling Law as Attention Tries to Concentrate

• arxiv url: http://arxiv.org/abs/2609.32100v1
• Date: Sat, 26 Sep 2026 00:11:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:12:04.367577
• Title: Emergent One-Third Scaling Law as Attention Tries to Concentrate
• Title（参考訳）: 創発的な3分の1のスケーリング法、集中を目指す
• Abstract要約: 任意のソフトマックス学習ピーク分布は、指数$1/3$の電力法則で成長するロジット等級を発達させることができることを示す。 LLMにおける多くのソフトマックス関数がピーク分布を学習し、LSM損失スケーリングがこの1/3$予測に一致することを確認した。
• 参考スコア（独自算出の注目度）: 3.0268242725574215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The neural scaling law relating longer training to better performance through a power law is central to today's large language models (LLMs), yet its origin remains debated. One recent proposal is that power laws can emerge from the strong non-linearity of a single softmax head learning peaked distributions. What happens with multiple softmax functions, as in LLMs, is unclear. Here, we show through toy models that any softmax learning peaked distributions, regardless of its position in the model, can develop logit magnitudes that grow in a power law with exponent $1/3$, becoming a training bottleneck whose loss contribution decays as a power law with the same exponent $1/3$. The overall loss therefore obeys $1/3$ scaling whenever at least one softmax learns peaked distributions. We confirm that many softmax functions in LLMs learn peaked distributions and that LLM loss scaling matches this $1/3$ prediction. Moreover, logit growth dynamics reveal that attention heads, rather than the language modeling head, are the bottleneck likely driving the $1/3$ loss scaling in LLMs. Attention trying to concentrate on specific information, which is the heart of Transformers, may therefore also be the heart of the neural scaling law of training.
• Abstract（参考訳）: 電力法則によるより長いトレーニングとより良いパフォーマンスに関する神経スケーリング法は、今日の大規模言語モデル(LLM)の中心であるが、その起源については議論が続いている。 最近の提案の一つは、単一のソフトマックス学習ピーク分布の強い非線形性から電力法則が現れることである。 LLMのように、複数のソフトマックス関数で何が起こるかは不明である。 ここでは,任意のソフトマックス学習ピーク分布が,モデル内の位置に関わらず,指数が1/3$のパワー法則で成長するロジット等級を発達させ,損失寄与が同じ指数が1/3$のパワー法則として崩壊する訓練ボトルネックとなることを示す。 したがって、全体の損失は少なくとも1つのソフトマックスがピーク分布を学習するたびに1/3ドルのスケーリングに従う。 LLMにおける多くのソフトマックス関数がピーク分布を学習し、LSM損失スケーリングがこの1/3$予測に一致することを確認した。 さらに、ロジット成長のダイナミクスは、言語モデリングヘッドではなく、注目ヘッドがLLMの1/3$ロススケーリングのボトルネックであることを示している。 したがって、トランスフォーマーの心臓である特定の情報に集中しようとする注意は、トレーニングの神経スケーリング法則の中心でもあるかもしれない。

関連論文リスト

• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Universal One-third Time Scaling in Learning Peaked Distributions [48.44706450307606]
  大規模言語モデル(LLMs)の訓練は、損失が低速なパワー・ロー・コンバージェンスを示すこともあって、計算コストがかかる。 本研究は,ソフトマックスとクロスエントロピーを用いて本質的にこの挙動が生じることを示す。
  論文  参考訳（メタデータ） (2026-02-03T16:06:18Z)
• Superposition Yields Robust Neural Scaling [22.05527470952902]
  表現重畳は、LLMが次元よりも多くの特徴を表現していることを意味するが、損失や神経スケーリングの原因となる重要な要因であることを示す。 結果は,表現重畳をニューラルスケーリング法則の中心的要因として認識し,ニューラルスケーリング法則がいつ改善され,いつ崩壊するかといった問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T16:18:13Z)
• Do Larger Language Models Generalize Better? A Scaling Law for Implicit Reasoning at Pretraining Time [73.22651918134808]
  この研究は、モデルサイズのスケーリングによる直感的効果を示し、言語モデル(LM)におけるスケーリングと推論の関係に関する新たな洞察を提供する。 我々は,実世界の大規模知識グラフの構造と分布を再現する合成暗黙のマルチホップ推論環境において,ゼロからLMを事前学習する。 次に、実世界の事前学習における暗黙的推論の単純化とみなすことができるマルチホップ推論を必要とする、グラフの欠落したエッジを完遂するLMの能力を評価する。
  論文  参考訳（メタデータ） (2025-04-04T17:57:22Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• Attention Scheme Inspired Softmax Regression [20.825033982038455]
  大きな言語モデル(LLM)は、人間の社会に変革をもたらした。 LLMにおける鍵計算の1つはソフトマックス単位である。 この研究はソフトマックス単位にインスピレーションを与え、ソフトマックス回帰問題を定義する。
  論文  参考訳（メタデータ） (2023-04-20T15:50:35Z)
• Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a Generative Model [50.38446482252857]
  2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。 我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。 我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T17:24:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。