論文の概要: The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors
- arxiv url: http://arxiv.org/abs/2609.02959v1
- Date: Wed, 02 Sep 2026 05:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.805132
- Title: The Geometry of Ignorance: LLMs Know When to Temper Bayesian Priors
- Title（参考訳）: 無視の幾何学:LLMはベイジアン前兆をいつ温めるかを知っている
- Abstract要約: 言語モデルでは,埋め込み行列の1つの方向を用いて,手掛かりがほとんどない場合を予測する。
最終的な予測状態をこの方向に投影すると、トーケン1つ当たりの負荷係数が$$である。
最終予測状態で$を引き上げたり下げたりすることで、KLの発散前のユニグラムから遠ざかる予測を導いたりする。
- 参考スコア（独自算出の注目度）: 11.541745717034667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: What does a language model predict when it has few clues? The answer lurks in its unembedding geometry: a single direction of the unembedding matrix encodes the unigram distribution of the training corpus, which serves as the Bayesian prior the model falls back on when uncertain. This structure --- which we term the \emph{direction of ignorance} --- appears in all four model families examined (\texttt{Llama}, \texttt{Qwen}, \texttt{Gemma}, and \texttt{Pythia}), ranging from 0.4B to 405B parameters. Projecting the final prediction state onto this direction yields a per-token \emph{prior loading factor} $λ$, which, empirically, declines steadily as the context becomes more informative. Formally, the same projection decomposes the prediction state into two orthogonal vectors that correspond exactly to the two factors of a tempered Bayesian update: a unigram prior raised to the exponent $λ$ and a context-driven likelihood. This geometric-probabilistic interpretation calibrates $λ$, making it meaningfully comparable across model sizes and families, with larger models generally exhibiting lower prior reliance in the high-context limit. Finally, we show that the direction of ignorance is causally active: raising or lowering $λ$ at the final prediction state steers the prediction toward or away from the unigram prior in KL divergence.
- Abstract（参考訳）: 手がかりがほとんどない場合、言語モデルは何を予測しますか?
アンエンベディング行列の1つの方向はトレーニングコーパスのユニグラム分布を符号化し、モデルが不確実なときにフォールバックする前にベイジアンとして機能する。
この構造は----------------- 検討された4つのモデル族(--------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------- ----------------------
最終的な予測状態をこの方向に投影すると、一点当たり$λ$となり、文脈がより情報的になるにつれて、経験的に着実に減少する。
形式的には、同じプロジェクションは予測状態を2つの直交ベクトルに分解し、これは温められたベイズ更新の2つの要素と正確に一致する。
この幾何学的確率論的解釈は、λ$を校正し、モデルのサイズや家族に有意に匹敵するものであり、大きなモデルは一般に高文脈の極限においてより低い事前依存を示す。
最後に、無知の方向が因果的に活発であることを示し、最終的な予測状態においてλ$を上昇または下げることにより、KLの発散前のユニグラムから遠ざかる方向で予測を行う。
関連論文リスト
- Geometric and Behavioral Stratification in Transformer Residual Streams [0.0]
訓練されたトランスモデルは特権ベースを発達させ、残りの残流と統計が異なる座標軸を発達させる。
モデルが現在予測しているトークンの予測方向,非埋め込み方向について検討し,コンテンツ定義の特権アンカーとして機能することを確認した。
論文 参考訳（メタデータ） (2026-08-12T17:42:20Z) - Dead Directions: Geometric Singular Learning [0.0]
特異学習理論と情報幾何学は、主に別々の語彙で同じパラメータ空間を研究してきた。
我々はそれらを1つのプリミティブ、デッド方向、すなわちフィッシャー計量が退化する単位ベクトルを通してブリッジする。
滑らかな繊維上の選択規則は、この速度を実対数正準しきい値に対する渡辺の単一方向寄与に変換する。
多層K-FAC分解は、各フィッシャーブロックをアクティベーションと勾配側率の積として記述する。
論文 参考訳（メタデータ） (2026-06-04T09:54:08Z) - Learn from your own latents and not from tokens: A sample-complexity theory [53.5821824211418]
本研究では,関連するビューやマスキング領域の潜在表現を予測するために訓練されたネットワークについて検討する。
潜在予測は、対数的要因まで、多くのサンプルを$L$で表すことでこれを達成できることを示す。
これは、H-JEPAのような明示的な積み重ねがほとんど冗長であることを示している。
論文 参考訳（メタデータ） (2026-05-26T22:16:42Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Bandit Convex Optimization with Gradient Prediction Adaptivity [56.816177049016794]
本研究では, 楽観的な勾配予測が, 最悪の後悔の保証を予測順応的に改善できるかどうかを考察する。
鍵となるアイデアは、分散が勾配ノルムではなく予測誤差でスケールする、新しい分散還元勾配推定器である。
我々は、$(sqrtmathbbE[S_T])$としてスケールする情報理論の下限を確立し、最も達成可能な予測適応的後悔の基本的な特徴を提供する。
論文 参考訳（メタデータ） (2026-05-21T08:57:38Z) - Breaking the curse of dimensionality for linear rules: optimal predictors over the ellipsoid [13.057977494657564]
我々は,次元の増大に伴う統計的学習境界の劣化を防止するために,どのような最小構造仮定が必要かを検討する。
分析では, リスクに対する2つの基本的な寄与を取り上げている: (a) データの内在的次元を捉える分散のような用語, (b) ノイズレス誤差(高次元構造において特に発生する用語)。
論文 参考訳（メタデータ） (2025-09-25T13:54:37Z) - BriLLM: Brain-inspired Large Language Model [40.47939901030644]
BriLLMは、機械学習の基礎を再定義する、脳にインスパイアされた大きな言語モデルである。
BriLLMは2つの重要な神経認知原理を取り入れている。(1) 静的な意味マッピング、(2) トークンは皮質領域に類似した特定のノードにマッピングされ、(2) 脳活動で観察される電気生理学的情報ダイナミクスをシミュレートする動的信号伝達である。
このアーキテクチャは、自然なマルチモーダル互換性、ノードレベルでの完全なモデル解釈可能性、コンテキスト長の独立スケーリング、言語タスクのための脳に似た情報処理のグローバルなシミュレーションなど、複数の革新的なブレークスルーを可能にする。
論文 参考訳（メタデータ） (2025-03-14T11:08:30Z) - Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。
次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。
C=e(log H)1-Omega(1)$。
論文 参考訳（メタデータ） (2025-02-18T02:52:00Z) - Complexity of Vector-valued Prediction: From Linear Models to Stochastic Convex Optimization [27.33243506775655]
凸とリプシッツ損失関数の基本的な場合に焦点を当てる。
本稿では,この問題の複雑さと関連する学習モデルとの関連性に光を当てた,いくつかの新たな理論的結果を示す。
結果は,ベクトル値線形予測の設定を,広範に研究されている2つの異なる学習モデル間のブリッジングとして表現した。
論文 参考訳（メタデータ） (2024-12-05T15:56:54Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳（メタデータ） (2020-06-22T16:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。