論文の概要: Function Lives Where Variance Doesn't: Task-Weighted Charts of a Language Model's Computation

• arxiv url: http://arxiv.org/abs/2609.18989v1
• Date: Wed, 12 Aug 2026 07:04:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.58821
• Title: Function Lives Where Variance Doesn't: Task-Weighted Charts of a Language Model's Computation
• Title（参考訳）: 関数は変数がなければ生き残る:言語モデルの計算のタスク重み付きチャート
• Abstract要約: 低次元座標系は、その表現の選択された機能に適合する。 3つの家系の6つのモデル(70mから7Bのパラメータ)にまたがって、次のトーケン予測は残ストリームの幅の70-90%を必要とする。 2つの方向はGPT-2のアクティベーションの90%を担っており、その機能はほとんどない。 数次元しか保持できない場合、関数のメートル法の下で訓練されたチャートは、分散ベースや最適線形圧縮よりもモデルの予測を良く保存する。
• 参考スコア（独自算出の注目度）: 51.736723807086385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How many dimensions does a language model's computation actually use? The question is ill-posed until one names a functional. Task-weighted charts make it well-posed: low-dimensional coordinate systems fit against a chosen functional of the representation, under the functional's own metric, turning distillation into plain least squares. Across six models from three families, spanning 70m to 7B parameters, next-token prediction needs 70--90% of the residual stream's width to stay within 5% of intact perplexity, a width consumed by the rare tail of language, and the variance profile predicts none of it: two directions carry 90% of GPT-2's activation variance and almost none of its function. Dimension is per-functional: the model's own uncertainty reads from six coordinates where the full predictive distribution needs hundreds; and it grows with depth. The dissociation is exploitable: when only a few dimensions can be kept, charts trained under the functional's metric preserve the model's predictions better than variance-based or optimal linear compression.
• Abstract（参考訳）: 言語モデルの計算には実際に何次元が使われていますか? 1つの名前が機能するまで、その疑問は正しくない。 低次元座標系は、関数自身の計量の下で、表現の選択された機能に適合し、蒸留を平易な最小二乗に変換する。 70mから7Bのパラメータにまたがる6つのモデルにおいて、次のトーケン予測では、残留ストリームの幅の70-90%が、残余ストリームの幅の5%に留まる必要があり、その幅は、稀な言語尾で消費され、分散プロファイルはそのどれも予測しない: 2方向は、GPT-2のアクティベーションの90%を持ち、その機能はほとんどない。 モデル自身の不確実性は、完全な予測分布が数百を必要とする6つの座標から読み取られ、深さとともに成長する。 数次元しか保持できないとき、関数のメートル法の下で訓練されたチャートは、分散ベースや最適線形圧縮よりもモデルの予測を良く保存する。

関連論文リスト

• Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
  ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか? アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
  論文  参考訳（メタデータ） (2026-08-11T16:18:34Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Establishing Task Scaling Laws via Compute-Efficient Model Ladders [136.76316239300363]
  我々は,事前訓練された言語モデル(LM)のタスク性能を予測するために,タスクスケーリング法則とモデルはしごを開発する。 2つの予測ステップのパラメータ化関数に適合するデータポイントを収集し、2つの対象モデルの予測を行う。 ランク付けされた4つの多重選択タスクにおいて、絶対誤差の2ポイント以内で、両方のターゲットモデルの精度を予測することができる。
  論文  参考訳（メタデータ） (2024-12-05T18:21:49Z)
• Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data [1.6099403809839032]
  この論文で示された変種であるDual-sPLSは、古典的なPLS1アルゴリズムを一般化する。 正確な予測と効率的な解釈のバランスを提供する。 コードはRでオープンソースパッケージとして提供される。
  論文  参考訳（メタデータ） (2023-01-17T21:50:35Z)
• Self-Supervised Learning based on Heat Equation [75.61974935666446]
  本稿では,熱方程式を高次元特徴空間に拡張した自己教師型学習の新たな視点を提案する。 我々は x と y の軸を 2 つの一階線型微分方程式として分割することで単純化する。 これにより、QB-Heatと呼ばれる非常に単純なマスク付き画像モデリング(MIM)手法が導入された。
  論文  参考訳（メタデータ） (2022-11-23T18:59:59Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。