論文の概要: How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

• arxiv url: http://arxiv.org/abs/2602.11246v1
• Date: Wed, 11 Feb 2026 17:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.484582
• Title: How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?
• Title（参考訳）: 線形表現仮説の下で言語モデルストアできる機能はいくつあるか?
• Authors: Nikhil Garg, Jon Kleinberg, Kenny Peng,
• Abstract要約: 線形表現仮説(LRH)の数学的枠組みを導入する。 LRHは言語モデルの中間層が線形に格納されると主張している。 d = O_(frack2log klog (m/k))$ は必要であり、$d = O_(k2log m)$ suffices は必要であることを示す。
• 参考スコア（独自算出の注目度）: 8.283029791278187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a mathematical framework for the linear representation hypothesis (LRH), which asserts that intermediate layers of language models store features linearly. We separate the hypothesis into two claims: linear representation (features are linearly embedded in neuron activations) and linear accessibility (features can be linearly decoded). We then ask: How many neurons $d$ suffice to both linearly represent and linearly access $m$ features? Classical results in compressed sensing imply that for $k$-sparse inputs, $d = O(k\log (m/k))$ suffices if we allow non-linear decoding algorithms (Candes and Tao, 2006; Candes et al., 2006; Donoho, 2006). However, the additional requirement of linear decoding takes the problem out of the classical compressed sensing, into linear compressed sensing. Our main theoretical result establishes nearly-matching upper and lower bounds for linear compressed sensing. We prove that $d = Ω_ε(\frac{k^2}{\log k}\log (m/k))$ is required while $d = O_ε(k^2\log m)$ suffices. The lower bound establishes a quantitative gap between classical and linear compressed setting, illustrating how linear accessibility is a meaningfully stronger hypothesis than linear representation alone. The upper bound confirms that neurons can store an exponential number of features under the LRH, giving theoretical evidence for the "superposition hypothesis" (Elhage et al., 2022). The upper bound proof uses standard random constructions of matrices with approximately orthogonal columns. The lower bound proof uses rank bounds for near-identity matrices (Alon, 2003) together with Turán's theorem (bounding the number of edges in clique-free graphs). We also show how our results do and do not constrain the geometry of feature representations and extend our results to allow decoders with an activation function and bias.
• Abstract（参考訳）: 本稿では,線形表現仮説(LRH)の数学的枠組みを導入する。 仮説を2つの主張に分ける: 線形表現(函数はニューロンの活性化に線形に埋め込まれる)と線形アクセシビリティ(函数は線形に復号化できる)である。 線形表現と線形アクセスの両方に$m$の機能で満足できるニューロンはいくつありますか? k$スパース入力に対して、$d = O(k\log (m/k))$ suffices (Candes and Tao, 2006; Candes et al , 2006; Donoho, 2006)。 しかし、線形復号化のさらなる要件は、古典的な圧縮センシングから、線形圧縮センシングに問題をもたらす。 我々の主理論的結果は線形圧縮センシングのための上と下の境界がほぼ一致することを証明している。 d = Ω_ε(\frac{k^2}{\log k}\log (m/k))$ は必要であり、$d = O_ε(k^2\log m)$ suffices は必要である。 下界は古典的および線形圧縮された設定の間の量的ギャップを確立し、線型アクセシビリティが線型表現単独よりも有意義に強い仮説であることを示す。 上界は、ニューロンがLRHの下で指数関数的な数の特徴を保存できることを確認し、「重畳仮説」の理論的証拠を与える(Elhage et al , 2022)。 上界証明は、ほぼ直交列を持つ行列の標準的なランダムな構成を用いる。 下界証明は、近等式行列のランク境界(英語版)(Alon, 2003)とトゥランの定理(clique-free graph における辺の数の境界)を用いる。 また, 特徴表現の幾何学的制約や, アクティベーション関数とバイアスを持つデコーダを実現するために, 結果を拡張していることを示す。

関連論文リスト

• Who Said Neural Networks Aren't Linear? [10.340966855587405]
  本稿では,そのようなベクトル空間を構築によって明示する手法を提案する。 線形作用素 $A$ を 2 つの可逆ニューラルネットワーク、$f(x)=g_y-1(A g_x(x))$ に挟むと、対応するベクトル空間 $X$ と $Y$ は新たに定義された加算およびスケーリングアクションによって誘導される。
  論文  参考訳（メタデータ） (2025-10-09T17:59:57Z)
• Explicit Discovery of Nonlinear Symmetries from Dynamic Data [50.20526548924647]
  LieNLSDは非線形項の無限小生成器の数とその明示的な表現を決定する最初の方法である。 LieNLSDは既存の手法に比べて質的な利点を示し、ニューラルPDEソルバの長期ロールアウト精度を20%以上改善する。
  論文  参考訳（メタデータ） (2025-10-02T09:54:08Z)
• Fidelity Isn't Accuracy: When Linearly Decodable Functions Fail to Match the Ground Truth [0.0]
  線形性スコア$lambda(f)$は、回帰ネットワークの出力が線形モデルによってどれだけうまく模倣できるかを測定する。 このフレームワークは、合成データセットと実世界のデータセットの両方で評価される。
  論文  参考訳（メタデータ） (2025-06-13T18:55:37Z)
• Geometry of fibers of the multiplication map of deep linear neural networks [0.0]
  固定行列に乗算する構成可能な行列のクイバーの集合の幾何学について検討する。 我々の解は、同変コホモロジーにおけるポアンカー級数、二次整数プログラム、明示的な公式の3つの形式で表される。
  論文  参考訳（メタデータ） (2024-11-29T18:36:03Z)
• Neural Networks and (Virtual) Extended Formulations [8.185918509343818]
  私たちは、$P$を最適化するニューラルネットワークのサイズに対して、より低い境界を証明します。 我々は、$mathrmxc(P)$が任意のモノトーンや入力ニューラルネットワークのサイズの低い境界であることを示し、$P$を超える線形最適化問題を解く。
  論文  参考訳（メタデータ） (2024-11-05T11:12:11Z)
• Data subsampling for Poisson regression with pth-root-link [53.63838219437508]
  ポアソン回帰のためのデータサブサンプリング手法を開発し解析する。 特に,ポアソン一般化線形モデルと ID-および平方根リンク関数について考察する。
  論文  参考訳（メタデータ） (2024-10-30T10:09:05Z)
• Non-convex matrix sensing: Breaking the quadratic rank barrier in the sample complexity [11.412228884390784]
  因子化勾配降下はサンプル数で真にスケールすることを示す。 我々はこの理論を雑音場にまで拡張し、ノイズ測定では勾配降下は測定行列に弱い依存しか持たないことを示した。
  論文  参考訳（メタデータ） (2024-08-20T14:09:28Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation [25.60689712525918]
  本稿では,遷移確率と報酬関数が線形な線形関数近似を用いた強化学習について検討する。 本稿では,新たなアルゴリズムLSVI-UCB$+$を提案し,$H$がエピソード長,$d$が特徴次元,$T$がステップ数である場合に,$widetildeO(HdsqrtT)$ regretboundを実現する。
  論文  参考訳（メタデータ） (2022-06-23T06:04:21Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• Learning Sparse Graph Laplacian with K Eigenvector Prior via Iterative GLASSO and Projection [58.5350491065936]
  グラフ Laplacian 行列 $L$ 上の構造的仮定を考える。 最初の$K$ eigenvectors of $L$は、例えばドメイン固有の基準に基づいて事前選択される。 本稿では,H_u+$$$$barC$で最も適切なグラフラプラシアン行列$L*を計算するために,効率的なハイブリッドグラフラッソ/投影アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-10-25T18:12:50Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。