論文の概要: Exact Scaling Laws for a Random-Features Bigram Model

• arxiv url: http://arxiv.org/abs/2610.19281v1
• Date: Tue, 13 Oct 2026 23:02:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.839252
• Title: Exact Scaling Laws for a Random-Features Bigram Model
• Title（参考訳）: ランダム特徴ビグラムモデルのための厳密なスケーリング法則
• Abstract要約: 本稿では,パワーロー(Zipf)トークン統計を用いたボトルネック付きビッグラムモデルにおけるキャパシティ制限スケーリングについて検討する。 モデル幅,語彙サイズ,Zipf指数の関数として,予測後悔のスケーリング法則を導出する。 適切な状況下では、理論は古典的ニューラルスケーリング法則の関数形式を回復する。
• 参考スコア（独自算出の注目度）: 17.91591753541076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding neural scaling laws is increasingly important for theory and practice, yet first-principles explanations remain limited even in simple settings. In this work, we study capacity-limited scaling in a bottlenecked bigram model with power-law (Zipf) token statistics, viewed as an analytically tractable toy model of a large language model. Fixed random embeddings serve as a proxy for representational capacity and induce an explicit bottleneck of width, allowing us to derive scaling laws for prediction regret as a function of model width, vocabulary size, and the Zipf exponent. Our results complement recent theoretical accounts based on optimization dynamics by isolating scaling due purely to representational constraints. In the appropriate regime, the theory recovers the functional form of classical neural scaling laws and suggests that heavy-tailed language statistics may underlie both optimization- and capacity-driven scaling. Experiments natural language datasets (WikiText2, OpenWebText) closely match the predicted curves.
• Abstract（参考訳）: ニューラルネットワークのスケーリング法則を理解することは理論や実践においてますます重要になっているが、第一原理の説明は単純な設定でも限定的である。 本研究では,大言語モデルの解析的抽出可能な玩具モデルとして,パワーロー(Zipf)トークン統計を用いたボトルネック付きビッグラムモデルのキャパシティ制限スケーリングについて検討する。 固定されたランダム埋め込みは表現能力のプロキシとして機能し、幅の明示的なボトルネックを生じさせ、モデル幅、語彙サイズ、Zipf指数の関数として、後悔を予測するためのスケーリング法則を導出する。 この結果は, 純粋に表現的制約によるスケーリングを分離することにより, 最適化力学に基づく最近の理論的説明を補完するものである。 適切な状況下では、この理論は古典的ニューラルスケーリング法則の関数形式を回復し、重尾の言語統計学が最適化とキャパシティ駆動のスケーリングの両方を不足させる可能性があることを示唆している。 自然言語データセット(WikiText2, OpenWebText)の実験は、予測曲線と密接に一致している。

関連論文リスト

• Neural Scaling Laws for Jet Generation [0.46843765915430247]
  本研究は, 粒子ジェット発生の課題に対して, スケーリング法則を観測できるかどうかを考察する。 トレーニング中のモデルではすぐに利用できない5つの物理量のスライスされたワッサーシュタイン距離について検討する。 データセットのサイズと計算によるスケーリングでは、損失とスライスされたワッサーシュタイン距離の両方のスケーリング挙動が著しく弱い。
  論文  参考訳（メタデータ） (2026-05-27T18:00:03Z)
• On the origin of neural scaling laws: from random graphs to natural language [10.425020020850402]
  可変複雑性グラフ上でランダムウォーク(ビグラム)を予測することを訓練したトランスフォーマーのスケーリング法則について検討した。 より単純化された生成言語モデルからサンプリングされたシーケンスをトレーニングすることで、自然言語の複雑さを体系的に減らすことを検討する。 また、エルドス・レニイ(Erds-Renyi)やバラブシ・アルベルト(Barabsi-Albert)のアンサンブルから引き出されたランダムなグラフのランダムウォークのトレーニングから得られるスケーリング法則も含む。
  論文  参考訳（メタデータ） (2026-01-15T18:46:09Z)
• Neural Scaling Laws Rooted in the Data Distribution [0.0]
  ディープニューラルネットワークは経験的なニューラルスケーリング法則を示し、誤差はモデルやデータサイズの増加とともにパワー法則として減少する。 パーコレーション理論を用いて,自然データセットを記述する数学的モデルを構築した。 パーコレーション理論シミュレーションから導かれたおもちゃのデータセット上で回帰モデルを訓練して理論を検証した。
  論文  参考訳（メタデータ） (2024-12-10T22:01:38Z)
• Information-Theoretic Foundations for Neural Scaling Laws [20.617552198581024]
  我々は、ニューラルスケーリング法則のための情報理論の基礎を開発する。 データとモデルサイズの間の最適関係は、対数的要因まで線形であることが観察された。
  論文  参考訳（メタデータ） (2024-06-28T02:20:54Z)
• Selecting Large Language Model to Fine-tune via Rectified Scaling Law [74.84096546112215]
  制約のあるリソースを前提に、すべてのモデルを微調整し、その後の選択は非現実的である。 微調整スケーリング曲線は、よく知られた「パワーフェーズ」だけでなく、これまで観測されていなかった「プリパワーフェーズ」も含む。 本法則を利用して,資源消費の数百倍少ない最適モデルを選択する新しいLCM選択アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-04T01:55:00Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。