論文の概要: Generalization properties of the token perceptron: the role of embedding and vocabulary

• arxiv url: http://arxiv.org/abs/2610.32788v1
• Date: Fri, 23 Oct 2026 15:35:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.5952
• Title: Generalization properties of the token perceptron: the role of embedding and vocabulary
• Title（参考訳）: トークンパーセプトロンの一般化特性--埋め込みと語彙の役割
• Abstract要約: 大規模言語モデルは有限語彙からトークンを予測するために訓練され、それぞれが$d$次元の埋め込み空間のベクトルによって表現される。 我々はこの幾何学が最小解法モデルにおける学習にどのように影響するかを研究する。 最適な学習者は,教師が等方性である場合でも,語彙が最大分散している方向をまず解決することを示す。
• 参考スコア（独自算出の注目度）: 11.083781466635111
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models are trained to predict tokens from a finite vocabulary, each represented by a vector in a $d$-dimensional embedding space. Therefore, token prediction is a classification problem whose classes have a geometry determined by the embedding. We study how this geometry affects learning in a minimal solvable model: a linear predictor that maps a sequence of $N$ embedded tokens to a $d$-dimensional output through one $d\times d$ matrix per position, trained in the teacher--student setting. We call this the \textit{token perceptron}. We compute its generalization error with the replica method, taking $N\to\infty$ at fixed number of examples per position $α=P/N$ and keeping $d$ and the vocabulary size $D$ finite. As a first reference case, we consider continuous embeddings on the sphere, which isolate the role of the embedding dimension. The natural load is then $α/d$, and for $d>1$ a normalized label fixes the direction of the teacher output, so the problem becomes a noiseless regression: the teacher is recovered exactly above $α_{\rm rec}=d^2/(d-1)$, and spherical cross-entropy reaches this threshold at large inverse temperature. In the same setting the storage capacity of random associations scales as $d^2$ for margins $O(1/\sqrt{d})$. We then turn to vocabulary embeddings, where a label only identifies the Voronoi cell of the teacher output, so that each example imposes inequalities rather than equations, as in the classical perceptron. We compute the Bayes-optimal error for a given embedding matrix through an approximate spectral closure and show that the optimal learner first resolves the directions in which the vocabulary has the largest variance, even when the teacher is isotropic.
• Abstract（参考訳）: 大規模言語モデルは有限語彙からトークンを予測するために訓練され、それぞれが$d$次元の埋め込み空間のベクトルによって表現される。 したがって、トークン予測は、クラスが埋め込みによって決定される幾何学を持つ分類問題である。 我々は,この幾何学が最小解法モデルにおける学習に与える影響を考察する: 教師の学習環境において訓練された1位置あたりの$d\times d$Matrixを通して,$N$の埋め込みトークン列を$d$の出力にマッピングする線形予測器。 これを \textit{token perceptron} と呼ぶ。 我々は、その一般化誤差をレプリカ法で計算し、位置あたりの例の固定数の$N\to\infty$を$α=P/N$とし、$d$と語彙サイズ$D$を有限とする。 第1の例として、埋め込み次元の役割を分離する球面上の連続的な埋め込みについて考察する。 自然負荷は$α/d$で、正規化されたラベルは$d>1$で教師の出力の方向を固定するので、問題はノイズのない回帰となり、教師は$α_{\rm rec}=d^2/(d-1)$で正確に回収され、球面クロスエントロピーは大きな逆温度でこのしきい値に達する。 同じ設定で、ランダムなアソシエーションの記憶容量は$d^2$ for margins $O(1/\sqrt{d})$とスケールする。 ラベルは教師の出力のボロノイセルのみを識別し、それぞれの例が古典的パーセプトロンのように方程式よりも不等式を課す。 近似スペクトル閉包による埋め込み行列のベイズ最適誤差を計算し、教師が等方性である場合でも、語彙が最大の分散を持つ方向を最適学習者が最初に解くことを示す。

関連論文リスト

• Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [17.927451930317197]
  自己回帰言語モデルの実証的なスケーリング法則は、予測損失をモデルサイズ、データサイズ、最適化計算に関連付ける。 本研究では,安定な潜在線形RNNが軌道を発生し,スケッチされた線形リカレント学習者は,次の予測に基づいて,安全でフルバッチなWSD勾配勾配で学習する,学習可能な教師-学生モデルを用いて検討する。
  論文  参考訳（メタデータ） (2026-08-23T13:37:15Z)
• A Boundary-Layer Mechanism for One-Third Scaling in Online Softmax Classification [3.058685580689604]
  ハードラベル分類は通常、スムーズな代理損失、特にソフトマックスのクロスエントロピーで訓練される。 我々は、このスムーズなサロゲートと離散ラベルのミスマッチが、パワーローラー学習曲線を生成するメカニズムを分離する。 学習速度のスケジュールは、$_g sim -1/2$の電力法則に対する一般化誤差を改善することができることを示す。
  論文  参考訳（メタデータ） (2026-05-21T11:26:32Z)
• Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
  トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。 本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。 実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
  論文  参考訳（メタデータ） (2025-05-22T21:00:09Z)
• Self-Directed Linear Classification [50.659479930171585]
  オンライン分類では、学習者は、誤りの総数を最小限に抑えるために、オンラインでラベルを予測することを目的としている。 そこで本研究では,予測順序の選択能力について検討し,最低次学習とランダム次学習の分離を初めて確立する。
  論文  参考訳（メタデータ） (2023-08-06T15:38:44Z)
• High-dimensional Asymptotics of Feature Learning: How One Gradient Step Improves the Representation [89.21686761957383]
  2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。 我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
  論文  参考訳（メタデータ） (2022-05-03T12:09:59Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime [11.252856459394854]
  現代の機械学習分類器は、トレーニングセットに消滅する分類誤差を示すことが多い。 これらの現象に触発され、線形分離可能なデータに対する高次元の最大マージン分類を再検討する。
  論文  参考訳（メタデータ） (2019-11-05T00:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。