論文の概要: Compute-Optimal Scaling Laws for Spiking Language Models

• arxiv url: http://arxiv.org/abs/2610.15146v1
• Date: Sat, 10 Oct 2026 19:46:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:21:26.179941
• Title: Compute-Optimal Scaling Laws for Spiking Language Models
• Title（参考訳）: スパイキング言語モデルのための計算最適スケーリング法則
• Abstract要約: スパイクニューラルネットワークは、スパース、バイナリアクティベーションによるエネルギー効率の高い言語モデリングをターゲットにしている。 本稿では,最初のチンチラ型IsoFLOPスケーリングによるスパイク言語モデルについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks target energy-efficient language modeling through sparse, binary activations, but the efficiency-accuracy tradeoff of spiking language models is uncharacterized at scale. We present the first Chinchilla-style IsoFLOP scaling study of a spiking language model, sweeping SpikeGPT-family models (RWKV backbone) from width 384 to 1536 across compute budgets from $3\times10^{17}$ to $10^{19}$ FLOPs on FineWeb-EDU. We report two findings. First, the compute-optimal frontier is $N_{opt} \propto C^{0.56}$, close to the 0.50 that Hoffmann et al. report for dense Transformers, so spiking does not change how parameters and data should be traded off under a compute budget. Second, against non-spiking RWKV and Transformer baselines trained the same way, the loss gap splits into a backbone cost of about 0.16 nats that does not change with compute and a spiking cost that falls from 0.34 to about 0.23 nats and then levels off. These results give the first compute-optimal recipe for spiking language models and quantify the accuracy cost of their sparsity.
• Abstract（参考訳）: スパイキングニューラルネットワークは、スパース、バイナリアクティベーションによるエネルギー効率の高い言語モデリングをターゲットとしているが、スパイキング言語モデルの効率と精度のトレードオフは、大規模には実現されていない。 本研究では,384ドルから1536ドルまでの計算予算から,FineWeb-EDU上のFLOPを$3\times10^{17}から$10^{19}までの範囲で,スパイクGPTファミリーモデル(RWKVバックボーン)を網羅する,スパイク言語モデルに関する最初のチンチラスタイルのIsoFLOPスケーリング研究を提案する。 我々は2つの発見を報告した。 まず、計算最適フロンティアは$N_{opt} \propto C^{0.56}$で、Hoffmannらが高密度トランスフォーマーに対して報告した0.50に近いので、スパイキングは計算予算の下でパラメータやデータの交換方法を変えない。 第二に、非スパイクRWKVとトランスフォーマーベースラインが同じように訓練されたのに対して、損失ギャップは計算で変化しない約0.16ナットのバックボーンコストと、0.34から約0.23ナットのスパイクコストに分裂し、レベルがオフになる。 これらの結果から、言語モデルをスパイクする最初の計算最適化レシピが得られ、その空間の精度コストを定量化できる。

関連論文リスト

• Adaptive Physics-Informed Neural Networks for the Blasius Boundary-Layer Problem [0.0]
  本研究ではブラシウス境界層方程式に対する適応的なPINNフレームワークを開発する。 以上の結果から,ブラシウス問題に対する適応学習フレームワークの精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2026-08-28T04:18:33Z)
• Scaling Laws for Behavioral Foundation Models over User Event Sequences [2.924581427482972]
  本稿では、共通の2部分の振る舞いモデルアーキテクチャ、特徴ベースのイベント埋め込み、デコーダのみの変換器について検討する。 約600回にわたって、実際のインタラクションデータで動作し、トレーニング用FLOPは1015ドルから1019ドルの範囲で、デプロイ関連軸が4つあります。 計算最適トレーニングは低計算時のテキストと比較してデータ量が多いが、計算量が増加するにつれて、そのD/N$比はチンチラに向かう。
  論文  参考訳（メタデータ） (2026-06-03T15:59:25Z)
• Tokens-per-Parameter Coverage Is Critical for Robust LLM Scaling Law Extrapolation [45.56738584872585]
  ニューラルスケーリング法則は、パラメータカウント$N$とトークンカウント$D$のパワーロー関数として、言語モデルの損失を近似する。 本稿では,コリニア設計がガウス・ニュートン最小二乗問題に固有の不条件を生じさせることを示す。 これを4つのスケーリング法則形式に対して証明し、十分に条件付き推定に十分必要な閉形式TPP多様性閾値を導出する。
  論文  参考訳（メタデータ） (2026-05-08T23:00:17Z)
• SpikeLLM: Scaling up Spiking Neural Network to Large Language Models via Saliency-based Spiking [43.275370104552344]
  人間の脳は、同様のパラメータを持つ大きな言語モデルよりもはるかにエネルギー効率が高い。 本稿では,最初のスパイク型大言語モデルであるSpikeLLMを提案する。 SpikeLLMは11.01%のWikiText2の複雑さを低減し、一般的なシーン推論の2.55%の精度を改善する。
  論文  参考訳（メタデータ） (2024-07-05T08:37:17Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。