論文の概要: Transformers learn factored representations
- arxiv url: http://arxiv.org/abs/2602.02385v1
- Date: Mon, 02 Feb 2026 17:49:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:34.334651
- Title: Transformers learn factored representations
- Title（参考訳）: 変換器は因子表現を学習する
- Authors: Adam Shai, Loren Amdahl-Culleton, Casper L. Christensen, Henry R. Bigelow, Fernando E. Rosas, Alexander B. Boyd, Eric A. Alt, Kyle J. Ray, Paul M. Riechers,
- Abstract要約: トランスフォーマーは次のトークン予測を通じて事前訓練を受け、自分の世界を部品に分解する。
1) すべての因子の積空間における表現であり、その次元は成分の数とともに指数関数的に増加する。
我々は,部分空間の数,次元,文脈埋め込みの配置など,各活性化の幾何学的構造に関する正確な予測を導出する。
このことは、トランスフォーマーがなぜ世界を部品に分解するかを原理的に説明し、複雑なデータで訓練されたモデルでも解釈可能な低次元構造が持続する可能性があることを示唆している。
- 参考スコア（独自算出の注目度）: 62.86679034549244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformers pretrained via next token prediction learn to factor their world into parts, representing these factors in orthogonal subspaces of the residual stream. We formalize two representational hypotheses: (1) a representation in the product space of all factors, whose dimension grows exponentially with the number of parts, or (2) a factored representation in orthogonal subspaces, whose dimension grows linearly. The factored representation is lossless when factors are conditionally independent, but sacrifices predictive fidelity otherwise, creating a tradeoff between dimensional efficiency and accuracy. We derive precise predictions about the geometric structure of activations for each, including the number of subspaces, their dimensionality, and the arrangement of context embeddings within them. We test between these hypotheses on transformers trained on synthetic processes with known latent structure. Models learn factored representations when factors are conditionally independent, and continue to favor them early in training even when noise or hidden dependencies undermine conditional independence, reflecting an inductive bias toward factoring at the cost of fidelity. This provides a principled explanation for why transformers decompose the world into parts, and suggests that interpretable low dimensional structure may persist even in models trained on complex data.
- Abstract（参考訳）: 次のトークン予測によって事前訓練されたトランスフォーマーは、これらの要素を残留ストリームの直交部分空間で表現して、世界を一部に分解することを学ぶ。
1 つの表現的仮説を定式化する:(1) 次元が部分数で指数関数的に増加するすべての因子の積空間における表現、または(2) 次元が線型的に増加する直交部分空間における因子的表現。
因子表現は条件的に独立している場合、損失がないが、予測忠実さを犠牲にして、次元効率と精度のトレードオフを生み出す。
我々は,部分空間の数,次元,文脈埋め込みの配置など,各活性化の幾何学的構造に関する正確な予測を導出する。
我々はこれらの仮説を、既知の潜在構造を持つ合成過程で訓練されたトランスフォーマー上で検証する。
モデルは条件付き表現が条件付き独立であるときに学習し、ノイズや隠れた依存関係が条件付き独立性を損なう場合でも、訓練の初期段階で好意的であり続ける。
このことは、トランスフォーマーがなぜ世界を部品に分解するかを原理的に説明し、複雑なデータで訓練されたモデルでも解釈可能な低次元構造が持続する可能性があることを示唆している。
関連論文リスト
- On the Emergence of Induction Heads for In-Context Learning [121.64612469118464]
本研究では, 2層トランスにおいて以前に同定されたメカニズムである誘導ヘッドの出現について検討する。
最小限の ICL タスクの定式化と改良型トランスフォーマアーキテクチャを用いて,この構造の起源を説明する。
論文 参考訳（メタデータ） (2025-11-02T18:12:06Z) - Transformers Are Universally Consistent [14.904264782690639]
ソフトマックスに基づく非線形アテンションを備えたトランスフォーマーは,最小二乗の回帰処理を行う場合,一様に整合性を示す。
我々は経験的誤差の上限を導出し、この条件下では$mathcalO(t-1/2d)$の証明可能な速度で減衰し、$t$は入力トークンの数を表し、$d$は埋め込み次元を表す。
論文 参考訳（メタデータ） (2025-05-30T12:39:26Z) - Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。
入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
論文 参考訳（メタデータ） (2024-10-07T23:53:25Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - Why bother with geometry? On the relevance of linear decompositions of
Transformer embeddings [5.151529346168568]
このような2つの埋め込み分解法を用いて,機械翻訳デコーダの表現について検討した。
結果から,分解誘導指標はモデル性能と効果的に相関するが,異なる実行時間にまたがる変動は,この問題に対するより微妙な取扱いを示唆している。
論文 参考訳（メタデータ） (2023-10-10T19:56:10Z) - CausalX: Causal Explanations and Block Multilinear Factor Analysis [3.087360758008569]
全体と部分の統一多線形モデルを提案する。
ボトムアップ計算の代替品であるインクリメンタルmモードブロックsvdを導入する。
結果のオブジェクト表現は、オブジェクトの全体と部分の階層に関連する固有の因果係数表現の解釈可能な選択である。
論文 参考訳（メタデータ） (2021-02-25T13:49:01Z) - Learning Disentangled Representations with Latent Variation
Predictability [102.4163768995288]
本稿では,潜在不整合表現の変動予測可能性について述べる。
逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。
本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
論文 参考訳（メタデータ） (2020-07-25T08:54:26Z) - CausalVAE: Structured Causal Disentanglement in Variational Autoencoder [52.139696854386976]
変分オートエンコーダ(VAE)の枠組みは、観測から独立した因子をアンタングルするために一般的に用いられる。
本稿では, 因果内因性因子を因果内因性因子に変換する因果層を含むVOEベースの新しいフレームワークCausalVAEを提案する。
その結果、CausalVAEが学習した因果表現は意味論的に解釈可能であり、DAG(Directed Acyclic Graph)としての因果関係は精度良く同定された。
論文 参考訳（メタデータ） (2020-04-18T20:09:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。