論文の概要: The Geometry of Language Model Logits: Generic Structure and Learned Departures

• arxiv url: http://arxiv.org/abs/2610.18520v1
• Date: Tue, 13 Oct 2026 15:11:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.650363
• Title: The Geometry of Language Model Logits: Generic Structure and Learned Departures
• Title（参考訳）: 言語モデルロジットの幾何学:ジェネリック構造と学習領域
• Abstract要約: 自己回帰言語モデルは、全ての予測ステップにおいて、条件付き次トーケン分布を決定する構造を持つ語彙サイズのロジットベクトルを生成する。 順序付き語彙-頭部ロジットが著しく一貫した対数-線形関係に従うことを実証的に確認した。 これは、以前の復号作業で使われる分布的仮定の基礎となるロジット幾何学の体系的な最初の解析である。
• 参考スコア（独自算出の注目度）: 0.6627152091494143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models produce, at every prediction step, a vocabulary-sized logit vector whose structure determines the conditional next-token distribution. We empirically identify that the ordered vocabulary-head logits follow a remarkably consistent log-linear relation \[ z_{(r)} \approx μ- α\log r. \] across prediction contexts, architectures, and scales, emerging progressively during pretraining. To our knowledge, this is the first systematic analysis of the logit geometry underlying the distributional assumptions used in the prior decoding work. While controlled order-statistic baselines spanning bounded, light-tailed, and heavier-tailed distributions can largely explain the observed log-linear geometry, they do not explain the systematic shift in the slope $α$: trained language models exhibit $α\approx 1.4$--$1.7$, sitting well above the initialization baseline ($α\approx 0.2$) . Moreover, $α$ correlates with predictive performance, suggesting that it captures learned structure beyond generic extreme-value effects.
• Abstract（参考訳）: 自己回帰言語モデルは、全ての予測ステップにおいて、条件付き次トーケン分布を決定する構造を持つ語彙サイズのロジットベクトルを生成する。 順序付きボキャブラリヘッド対は、明らかに一貫した対数-線型関係 \[ z_{(r)} \approx μ- α\log r に従うことを実証的に確認する。 予測コンテキスト、アーキテクチャ、スケールにわたって、事前トレーニング中に徐々に現れます。 我々の知る限り、これは先述の復号作業で使われる分布仮定の基礎となるロジット幾何学の体系的解析としては初めてである。 境界線、光尾分布、重み分布にまたがる制御順序統計ベースラインは、観測された対数線幾何学の体系的な変化を説明できないが、初期化ベースライン(α\approx 0.2$)のかなり上座る$α\approx 1.4$--1.7$の訓練言語モデルを示す$α$:訓練された言語モデル。 さらに、$α$は予測性能と相関し、一般的な極値効果を超えて学習された構造を捉えることを示唆している。

関連論文リスト

• The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors [11.541745717034667]
  言語モデルでは,埋め込み行列の1つの方向を用いて,手掛かりがほとんどない場合を予測する。 最終的な予測状態をこの方向に投影すると、トーケン1つ当たりの負荷係数が$$である。 最終予測状態で$を引き上げたり下げたりすることで、KLの発散前のユニグラムから遠ざかる予測を導いたりする。
  論文  参考訳（メタデータ） (2026-09-02T05:05:50Z)
• Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
  本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。 潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。 これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T22:16:42Z)
• A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning [15.789193816051911]
  階層構造を持つ合成言語群を紹介する。 自己回帰生成における文脈長と推論の役割を正確に分析することができる。
  論文  参考訳（メタデータ） (2026-05-13T15:42:26Z)
• Probing Geometry of Next Token Prediction Using Cumulant Expansion of the Softmax Entropy [0.4329197710438657]
  大規模言語モデルが高次統計構造をいかに内包するかを定量化するための累積拡張フレームワークを提案する。 We track cumulants in GPT-2 and Pythia model on Pile-10K prompts。
  論文  参考訳（メタデータ） (2025-10-05T16:55:58Z)
• Piecewise Linear Approximation in Learned Index Structures: Theoretical and Empirical Analysis [16.350750984598797]
  Piecewise Linear Approximation (epsilon$-PLA)は、その単純さと有効性から人気がある。 多くの学習指標において中心的な役割を担っているにもかかわらず、$epsilon$-PLA適合アルゴリズムの設計と解析は未解明のままである。
  論文  参考訳（メタデータ） (2025-06-25T05:20:54Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• On the Origins of Linear Representations in Large Language Models [51.88404605700344]
  我々は,次のトークン予測の概念力学を定式化するために,単純な潜在変数モデルを導入する。 実験により、潜在変数モデルと一致するデータから学習すると線形表現が現れることが示された。 また、LLaMA-2大言語モデルを用いて、理論のいくつかの予測を検証した。
  論文  参考訳（メタデータ） (2024-03-06T17:17:36Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。