論文の概要: Geometric and Behavioral Stratification in Transformer Residual Streams

• arxiv url: http://arxiv.org/abs/2608.12447v1
• Date: Wed, 12 Aug 2026 17:42:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.292374
• Title: Geometric and Behavioral Stratification in Transformer Residual Streams
• Title（参考訳）: 変圧器残流の幾何学的および挙動的成層化
• Authors: Nelson Guda,
• Abstract要約: 訓練されたトランスモデルは特権ベースを発達させ、残りの残流と統計が異なる座標軸を発達させる。 モデルが現在予測しているトークンの予測方向,非埋め込み方向について検討し,コンテンツ定義の特権アンカーとして機能することを確認した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Trained transformer models develop privileged bases: coordinate axes whose statistics differ from the rest of the residual stream. But what kind of direction does such a basis select? We investigate the prediction direction, the unembedding direction of the token a model currently predicts, and find that it functions as a content-defined privileged anchor. Measured with respect to this anchor, residual-stream variation is geometrically and behaviorally stratified by proximity to the prediction. The stratification holds in all eighteen models tested (dense and mixture-of-experts, 7B-120B, base and instruction-tuned). A narrow, scale-invariant prediction interface concentrates readout-relevant structure, while the vast prediction-distal complement expands with model scale. Because the prediction direction sits nearly orthogonal to the principal variance axes, variance-based analyses recover this organization only partly, and the shortfall grows with prompt heterogeneity. Anchoring reveals a steep geometric gradient: prediction-proximal regions are highly structured and cluster related prompts, while the complement is flatter and anti-discriminates among prompt groups. The interface is a narrow slice but functionally decisive. Disrupting the variance directions closest to the prediction causes immediate divergence and frequent task-frame shifts; disrupting the next level down delays divergence and preserves framing. The complement is weakly readout-aligned per direction yet causally and temporally load-bearing, and behavior is driven by direction rather than magnitude. These results establish the prediction direction as a privileged anchor distinct from previously described coordinate axes, and give a geometric account of how high-dimensional computation coexists with linear readout.
• Abstract（参考訳）: 訓練されたトランスモデルは特権ベースを発達させ、残りの残流と統計が異なる座標軸を発達させる。 しかし、そのような基準はどんな方向を選ぶのか? モデルが現在予測しているトークンの予測方向,非埋め込み方向について検討し,コンテンツ定義の特権アンカーとして機能することを確認した。 このアンカーについて測定すると、残留流の変動は、予測に近接して幾何学的に、行動的に成層化される。 成層は試験された18のモデルすべてに収まる(denseとmixed-of-experts、7B-120B、base and instruction-tuned)。 狭いスケール不変の予測インタフェースは読み出し関連構造に集中し、巨大な予測・距離補関数はモデルスケールで拡大する。 予測方向は主分散軸とほぼ直交しているため、分散に基づく解析はこの構造を部分的にのみ回復し、不足は即時不均一に増大する。 予測近位領域は高度に構造化され、クラスタに関連するプロンプトが、補集合はより平坦で、プロンプト群の間では非差別的である。 インターフェースは狭いスライスだが、機能的には決定的だ。 予測に最も近い分散方向を乱すことは、即時ばらつきと頻繁なタスクフレームシフトを引き起こし、次のレベルダウンの遅延を混乱させ、フレーミングを保存する。 補体は方向ごとの読み出しが弱いが、因果的にも時間的にも負荷がかかるため、振る舞いは大きさよりも方向によって駆動される。 これらの結果は、前述した座標軸とは異なる特権的アンカーとして予測方向を確立し、高次元計算が線形読み出しとどのように共存するかを幾何学的に説明する。

関連論文リスト

• Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks [3.980892205755342]
  本稿では、曲率スペクトルと基準解の変位プロファイルの両方からランダムスライス残差を予測できる配向分解2次マスター式を提案する。 次にRandom Mapping Networks (RaMaN)を導入し, 予測潜在次元を, 構造化アダマールあるいはシード再生ガウス写像を用いてインスタンス化する。 RaMaNは、測定された遷移位置を追尾し、変位方向が重要となるとき、向きに依存しない近似を上回ります。
  論文  参考訳（メタデータ） (2026-08-12T21:09:54Z)
• High-dimensional ridgeless least squares interpolation under spiked covariance structures [3.656751299156262]
  本稿では,高次元のリッジレス最小二乗推定器において,特徴量$p$とサンプルサイズ$n$が比例的に大きくなる場合のサンプル外予測リスクについて検討する。 遅延スパイク方向に沿って分布する信号エネルギーは、過適合が良性、誘惑的、破滅的な過適合につながるか否かを決定する。
  論文  参考訳（メタデータ） (2026-08-07T14:40:44Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Causal vs. Anticausal merging of predictors [57.26526031579287]
  同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。 帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
  論文  参考訳（メタデータ） (2025-01-14T20:38:15Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction [5.38274042816001]
  観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。 このことは、観測データを用いた領域適応問題の研究を動機付けます。 学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
  論文  参考訳（メタデータ） (2024-06-22T17:43:08Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• Amplifying the Anterior-Posterior Difference via Data Enhancement -- A More Robust Deep Monocular Orientation Estimation Solution [7.540176446791261]
  既存のディープラーニングベースの単眼方向推定アルゴリズムは、オブジェクトの前部と後部の混乱の問題に直面している。 本研究では,物体の向きが位置する左右半円を予測することに焦点を当てた事前学習手法を提案する。 実験の結果,提案する半円予測により方向推定の精度が向上し,上記の問題を緩和できることがわかった。
  論文  参考訳（メタデータ） (2020-12-21T15:36:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。