論文の概要: One Spectrum, Two Resources: Data-Memory Scaling in Autoregressive Prediction

• arxiv url: http://arxiv.org/abs/2609.13500v1
• Date: Fri, 11 Sep 2026 20:05:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.345787
• Title: One Spectrum, Two Resources: Data-Memory Scaling in Autoregressive Prediction
• Title（参考訳）: 1つのスペクトルと2つのリソース: 自己回帰予測におけるデータメモリスケーリング
• Abstract要約: ミニマックス法則 $mathfrak R*_rm value(n,B)asymp_R _(n-1)+_(_B), _(t)=intminx,t,(mathrm dx),$$$n$予測ブロックと、少なくとも2B$値の学習状態を証明する。
• 参考スコア（独自算出の注目度）: 5.718096628460326
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: How much learned memory is needed to benefit from more data? We show that the two resources are governed by one predictive-energy spectrum in a positive-entropy autoregressive retrieval source. Each coordinate contributes its query probability times the squared radius of its unknown logit. Writing $μ$ for the resulting energy spectrum, we prove the minimax law $\mathfrak R^*_{\rm value}(n,B)\asymp_R Φ_μ(n^{-1})+Φ_μ(τ_B), Φ_μ(t)=\int\min\{x,t\}\,μ(\mathrm dx),$ for $n$ prediction blocks and a learned state with at most $2^B$ values. Data set the resolution $1/n$; memory sets the level $τ_B$ reached by optimal bit allocation. The complete curve also recovers the positive spectrum. Energy-dimension pairing is essential: two causal sources with identical block-energy and block-dimension marginals have different data and memory exponents. A masked query-key attention head learns the route and values, realizing the law with explicit routing, format, and arithmetic errors. Further results give exponent-adaptive allocation, finite-precision realization, and compute-precision laws under two-sided arithmetic assumptions. Experiments recover the data-memory collapse and coupling exponents, explain the routing and allocation mechanisms, and examine weight-only quantization across six pretrained-model scales.
• Abstract（参考訳）: より多くのデータから恩恵を受けるためには、どれくらいの学習済みメモリが必要か? この2つの資源は、正エントロピー自己回帰検索源における1つの予測エネルギースペクトルによって管理されていることを示す。 各座標は、未知の対数の2乗半径のクエリ確率時間に寄与する。 得られたエネルギースペクトルに対して$μ$とすると、最小値が$\mathfrak R^*_{\rm値}(n, B)\asymp_R >_μ(n^{-1})+\_μ(τ_B), >_μ(t)=\int\min\{x,t\}\,μ(\mathrm dx),$$n$予測ブロックに対して$$2^B$の学習状態が証明される。 データは解像度を1/n$に設定し、メモリは最適なビット割り当てによって到達したレベルをτ_B$に設定する。 完全曲線もまた正のスペクトルを回復する。 エネルギー-次元ペアリングは必須であり、同じブロック-エネルギーとブロック-次元境界を持つ2つの因果源は異なるデータとメモリ指数を持つ。 マスク付きクエリキーアテンションヘッドは、ルートと値を学び、明示的なルーティング、フォーマット、演算エラーで法則を実現する。 さらに、指数適応割当、有限精度実現、および両側の算術的な仮定の下での計算精度の法則を与える。 実験は、データメモリの崩壊と結合指数を回復し、ルーティングと割り当てのメカニズムを説明し、6つの事前訓練されたモデルスケールで重量のみの量子化を調べる。

関連論文リスト

• How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
  r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。 まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
  論文  参考訳（メタデータ） (2026-05-23T22:00:38Z)
• How Does Attention Help? Insights from Random Matrices on Signal Recovery from Sequence Models [6.758792133077052]
  固有値分布の制限,外乱固有値,および隠れ信号との固有ベクトルアライメントの正確な特徴を導出する。 パラメータフリー因果自己アテンションを$/d$のスコアスケーリングで行うと、平均プールよりも信号の回復が向上する決定論的調和重みが得られることを示す。
  論文  参考訳（メタデータ） (2026-05-07T18:28:01Z)
• Transformers as Measure-Theoretic Associative Memory: A Statistical Perspective and Minimax Optimality [52.424255020469595]
  トランスフォーマーは、コンテント順応可能な検索とコンテキスト、原則として長さを活用できる能力を通じてエクササイズする。 確率尺度のレベルで連想記憶をリキャストし、コンテキストを無拘束トークン上の分布として扱う。 浅度測度理論変換器は入力密度のスペクトル仮定に基づいてリコール・アンド・予測マップを学習することを示す。
  論文  参考訳（メタデータ） (2026-02-02T09:34:17Z)
• Learning quadratic neural networks in high dimensions: SGD dynamics and scaling laws [21.18373933718468]
  高次元状態における二次活性化関数を持つ2層ニューラルネットワークの勾配に基づくトレーニングの最適化とサンプル複雑性について検討する。 本稿では,特徴学習体制における動態の急激な解析を行い,人口制限と有限サンプルの離散化について述べる。
  論文  参考訳（メタデータ） (2025-08-05T17:57:56Z)
• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Nearly Optimal Differentially Private ReLU Regression [18.599299269974498]
  微分プライバシ(DP)モデルにおいて、最も基本的な非学習問題の1つ、ReLU回帰について検討する。 我々は,1パスのミニバッチ一般化モデルパーセプトロンアルゴリズムを提案し,解析することで,$epsilon$と公開データの要求を緩和する。
  論文  参考訳（メタデータ） (2025-03-08T02:09:47Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• SGD with memory: fundamental properties and stochastic acceleration [15.25021403154845]
  非確率設定では、損失収束$L_tsim C_Lt-xiの最適指数$xi$は、平滑なGDの倍である。 メモリ1のアルゴリズムでは、安定性を維持しながら、任意に$C_L$を小さくすることができる。
  論文  参考訳（メタデータ） (2024-10-05T16:57:40Z)
• Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [21.64772960240025]
  問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。 私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
  論文  参考訳（メタデータ） (2024-08-20T01:24:54Z)
• Kernel Density Estimators in Large Dimensions [9.299356601085586]
  カーネルによる密度$hatrho_hmathcal D(x)=frac1n hdsum_i=1n Kleft(fracx-y_ihright)$の推定は帯域幅$h$に依存する。 本稿では,Kullback-Leibler分散に基づく帯域幅の最適しきい値が,本論文で同定された新しい統計体系に含まれることを示す。
  論文  参考訳（メタデータ） (2024-08-11T15:56:44Z)
• Semidefinite programming relaxations and debiasing for MAXCUT-based clustering [1.9761774213809036]
  2つのガウス分布を$mathbbRp$で混合して引き出す小さなデータサンプルを$n$で分割する問題を考察する。 グラフ上の最大カットを求めるように定式化された整数二次プログラムの半定値プログラミング緩和を用いる。
  論文  参考訳（メタデータ） (2024-01-16T03:14:24Z)
• Compressive Recovery of Sparse Precision Matrices [5.557600489035657]
  我々は,$d$変数の統計的関係を,mathbbRn times d$の$n$サンプル$Xのデータセットからモデル化するグラフの学習問題を考察する。 サイズ $m=Omegaleft((d+2k)log(d)right)$ ここで、$k$は基礎となるグラフのエッジの最大数である。 本稿では, グラフィカルラッソに基づく反復アルゴリズムを用いて, 具体的デノイザとみなす実用的リカバリを実現する可能性について検討する。
  論文  参考訳（メタデータ） (2023-11-08T13:29:08Z)
• Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
  2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。 また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
  論文  参考訳（メタデータ） (2022-06-26T06:51:31Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。