論文の概要: Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

• arxiv url: http://arxiv.org/abs/2605.14258v1
• Date: Thu, 14 May 2026 01:57:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.572204
• Title: Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology
• Title（参考訳）: 変圧器残差流のダイナミクス:スペクトル幾何学とネットワークトポロジーの結合
• Authors: Jesseba Fernando, Grigori Guitchounts,
• Abstract要約: トレーニングでは,大規模言語モデルにおいて,深度を経た単調スペクトル勾配を推定する。 実験の結果、この勾配と次元の崩壊は建築というよりむしろ学習されていることが明らかとなった。 これらの結果は、摂動伝播と圧縮をネットワークの機能的トポロジーにリンクするLLMの学習されたスペクトル幾何学をマッピングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are remarkably capable, yet how computation propagates through their layers remains poorly understood. A growing line of work treats depth as discrete time and the residual stream as a dynamical system, where each layer's nonlinear update has a local linear description. However, previous analyses have relied on scalar summaries or approximate linearizations, leaving the full spectral geometry of trained LLMs unknown. We perform full Jacobian eigendecomposition across three production--scale LLMs and show that training installs a monotonic spectral gradient through depth -- from non-normal, rotation-dominated early layers to near--symmetric late layers -- together with a cumulative low-rank bottleneck that funnels perturbations into a small fraction of the residual stream's effective dimensions. Our experiments reveal that this gradient and the dimensional collapse are learned rather than architectural, and is largely dissolved when structured non-normality is removed. We further show that the topological positioning of graph communities predicts whether the Jacobian amplifies or suppresses them, with the sign of the coupling determined by the local operator type, a relationship absent at initialization. These results map a learned spectral geometry in LLMs that links perturbation propagation and compression to the network's functional topology.
• Abstract（参考訳）: 大規模言語モデルは驚くほど能力があるが、計算が層を通してどのように伝播するかはいまだに理解されていない。 増大するワークラインは、深さを離散時間として扱い、残留ストリームを動的システムとして扱い、各レイヤの非線形更新は局所的な線形記述を持つ。 しかし、以前の分析はスカラーサマリーや近似線形化に依存しており、訓練されたLLMの完全なスペクトル幾何学は分かっていない。 実験では,非正規層から非正規層,回転支配層から近対称層まで,単調スペクトル勾配を,残留ストリームの有効次元のごく一部に発散する累積的低ランクボトルネックに導入することを示した。 実験の結果, この勾配と次元崩壊は構造よりも学習され, 構造的非正規性を取り除いた場合, 大部分は溶解することがわかった。 さらに, グラフ群における位相的位置決めは, ヤコビアンがそれらを増幅するか抑制するかを予測し, 局所作用素型によって決定されるカップリングの兆候, 初期化に欠く関係を示す。 これらの結果は、摂動伝播と圧縮をネットワークの機能的トポロジーにリンクするLLMの学習されたスペクトル幾何学をマッピングする。

関連論文リスト

• The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws [13.054357482525505]
  Gemma 2 2B および 9B の68 層に収着・退避する第1 層間SAEスケーリング研究を行った。 多様体幾何は、両方のモデルにおいて、層ごとの幅指数を予測する。
  論文  参考訳（メタデータ） (2026-05-11T02:24:46Z)
• A Mean Curvature Approach to Boundary Detection: Geometric Insights for Unsupervised Learning [52.452902154360565]
  本稿では,幾何学的機械学習に基づく新しい幾何学的フレームワークであるMean Curvature Boundary Points (MCBP)を紹介する。 MCBPはデータ多様体の固有曲率を明示的にモデル化し、原理化された多様体のパラメトリゼーションを必要としない点平均曲率を計算する。 合成および実世界のデータセットの実験により、MCBPはクラスタリング性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-05-05T20:19:09Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Unifying Low Dimensional Observations in Deep Learning Through the Deep Linear Unconstrained Feature Model [0.0]
  深部ニューラルネットワークの重み,ヘッセン,勾配,特徴ベクトルの低次元構造について検討した。 一般化された制約のない特徴モデルでそれらを統一する方法を示す。
  論文  参考訳（メタデータ） (2024-04-09T08:17:32Z)
• Layered Models can "Automatically" Regularize and Discover Low-Dimensional Structures via Feature Learning [6.109362130047454]
  入力が線形変換を行い、次に非線形写像によって出力を予測する2層非パラメトリック回帰モデルについて検討する。 2層モデルが正規化を「自動的に」誘導し,特徴学習を容易にすることを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:15:35Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View Tomography [58.60249163402822]
  未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。 提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-07-06T21:40:59Z)
• Training invariances and the low-rank phenomenon: beyond linear networks [44.02161831977037]
  線形分離可能なデータに対して、ロジスティックあるいは指数損失の深い線形ネットワークを訓練すると、重みは1$の行列に収束する。 非線形ReLU活性化フィードフォワードネットワークに対して、低ランク現象が厳格に証明されたのはこれが初めてである。 我々の証明は、あるパラメータの方向収束の下で重みが一定である多重線型関数と別のReLUネットワークへのネットワークの特定の分解に依存している。
  論文  参考訳（メタデータ） (2022-01-28T07:31:19Z)
• Learning Generative Prior with Latent Space Sparsity Constraints [25.213673771175692]
  自然像の分布は1つの多様体にではなく、むしろいくつかの部分多様体の結合にあると論じられている。 本稿では,スペーサ性駆動型潜時空間サンプリング(SDLSS)フレームワークを提案し,PMLアルゴリズムを用いて潜時空間のスペーサ性を実現する。 その結果, SDLSS法は, 高次圧縮では最先端法よりも効率が高いことがわかった。
  論文  参考訳（メタデータ） (2021-05-25T14:12:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。