論文の概要: Emergent phases of superposition: from partial to full representation

• arxiv url: http://arxiv.org/abs/2609.36455v1
• Date: Tue, 29 Sep 2026 01:17:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.086287
• Title: Emergent phases of superposition: from partial to full representation
• Title（参考訳）: 重ね合わせの創発的位相:部分表現から完全表現へ
• Abstract要約: 幅の増大は部分表現相から完全表現相への連続的な位相遷移を駆動することを示す。 この結果から,モデル幅とデータ統計値の結合による表現と損失のモデル化について考察した。
• 参考スコア（独自算出の注目度）: 2.931240348160871
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are thought to represent features by vectors in a hidden space of dimension given by the model's width. Superposition, in which more features are represented than the width by letting representation vectors overlap, is a leading account of how representation vectors are organized. However, how model width and data statistics determine the configuration of representation vectors and the resulting loss when the number of features and the width are large remains less understood. Here we show, in Anthropic's toy model of superposition, that increasing the width drives a continuous phase transition from a partial-representation phase, where only a subset of features receives appreciable representation vectors while the rest vanish, to a full-representation phase, where every feature is represented. Our theory via a partial random projection approximation predicts, and experiments confirm, that the critical width grows linearly with the number of active features up to a logarithmic factor. The loss scaling changes across the transition: below the critical width, the loss grows linearly with the number of active features and depends weakly on the width in a form set by data statistics; above it, the loss grows approximately quadratically with the number of active features and decays inversely with the width. Non-uniform firing probabilities delay the transition and lower the loss, as more frequent features occupy more space. Our results provide an account of how model width and data statistics jointly shape representations and loss, a step toward understanding representation scaling in large models.
• Abstract（参考訳）: 大規模言語モデルは、モデルの幅によって与えられる次元の隠れた空間におけるベクトルによる特徴を表すと考えられている。 重ね合わせは、表現ベクトルが重なり合うことによって、より多くの特徴が幅よりも表現されるもので、表現ベクトルがどのように組織化されるかの先導的な説明である。 しかし、モデル幅とデータ統計が表現ベクトルの構成と、特徴数と幅が大きい場合に生じる損失をどのように決定するかは、まだ理解されていない。 ここでは、Arthropicの重ね合わせのおもちゃモデルにおいて、幅の増大は部分表現相から連続位相遷移を駆動し、特徴のサブセットだけが認識可能な表現ベクトルを受け取り、残りは消滅し、すべての特徴が表現される全表現相へと遷移することを示す。 部分的ランダム射影近似による我々の理論は、臨界幅が対数係数までのアクティブな特徴の数とともに線形に増加することを予測し、実験により確認する。 限界幅以下では、損失はアクティブな特徴の数とともに直線的に増加し、データ統計によって設定された形式の幅に弱く依存する。 非一様発火確率は遷移を遅らせ、より頻繁な特徴がより多くの空間を占めるため、損失を減少させる。 この結果から,大規模モデルにおける表現スケーリングの理解に向けたステップとして,モデル幅とデータ統計が共同で表現と損失を形作る方法が示唆された。

関連論文リスト

• How Width and Data Shape Generalization Scaling Laws in Quadratic Neural Networks [29.557636603874105]
  特徴学習モデルにおいて、トレーニング可能なパラメータの数とサンプル数によって一般化がいかにスケールするかを検討する。 この結果から,パラメータの数が異なるため,異なるスケーリング機構を持つ位相図が得られた。
  論文  参考訳（メタデータ） (2026-06-26T16:27:46Z)
• Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models [51.56484100374058]
  モデルがサポートできるほぼ直交方向数を推定するためのフレームワークを開発する。 このメトリックを数十のオープンソースモデルに適用すると、高い$varepsilon$を持つモデルと、それを維持する$varepsilon$の低いモデルという2つのクラスが明らかになる。
  論文  参考訳（メタデータ） (2026-06-01T18:28:56Z)
• Transformers learn factored representations [62.86679034549244]
  トランスフォーマーは次のトークン予測を通じて事前訓練を受け、自分の世界を部品に分解する。 1) すべての因子の積空間における表現であり、その次元は成分の数とともに指数関数的に増加する。 我々は,部分空間の数,次元,文脈埋め込みの配置など,各活性化の幾何学的構造に関する正確な予測を導出する。 このことは、トランスフォーマーがなぜ世界を部品に分解するかを原理的に説明し、複雑なデータで訓練されたモデルでも解釈可能な低次元構造が持続する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T17:49:06Z)
• Superposition Yields Robust Neural Scaling [22.05527470952902]
  表現重畳は、LLMが次元よりも多くの特徴を表現していることを意味するが、損失や神経スケーリングの原因となる重要な要因であることを示す。 結果は,表現重畳をニューラルスケーリング法則の中心的要因として認識し,ニューラルスケーリング法則がいつ改善され,いつ崩壊するかといった問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-15T16:18:13Z)
• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Orthonormal Convolutions for the Rotation Based Iterative Gaussianization [64.44661342486434]
  本稿では、画像ガウス化を可能にする回転型反復ガウス化RBIGの拡張について詳述する。 RBIGの回転は主成分分析や独立成分分析に基づくため、画像では小さな画像パッチや孤立画素に制限されている。 emphConvolutional RBIG:この問題を緩和する拡張として,RBIGの回転が畳み込みであることを示す。
  論文  参考訳（メタデータ） (2022-06-08T12:56:34Z)
• Explaining Neural Scaling Laws [17.115592382420626]
  訓練されたディープニューラルネットワークの人口減少は、しばしば正確なパワー-ロースケーリング関係に従う。 本稿では、これらのスケーリング法則の起源を説明し、接続する理論を提案する。 データセットとモデルサイズの両方に対する分散制限と分解能制限のスケーリング挙動を同定する。
  論文  参考訳（メタデータ） (2021-02-12T18:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。