論文の概要: Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds
- arxiv url: http://arxiv.org/abs/2601.19942v1
- Date: Fri, 16 Jan 2026 23:11:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 02:21:38.57066
- Title: Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds
- Title（参考訳）: 潜時物体永続性:深部変圧器多様体における位相相転移、自由エネルギー原理、正規化群フロー
- Authors: Faruk Alpay, Bugra Kilictas,
- Abstract要約: 幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。
我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。
結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
- 参考スコア（独自算出の注目度）: 0.5729426778193398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the emergence of multi-step reasoning in deep Transformer language models through a geometric and statistical-physics lens. Treating the hidden-state trajectory as a flow on an implicit Riemannian manifold, we analyze the layerwise covariance spectrum of activations, where $C^{(\ell)}=\mathbb{E}[h^{(\ell)}h^{(\ell)\top}]$, and track deviations from a random-matrix bulk. Across model scales (1.5B--30B), we observe a sharp reduction in effective dimensionality consistent with a phase transition: an order parameter based on sparsity/localization, $Ω(h)=1-\|h\|_1/(\sqrt{d}\|h\|_2)$, exhibits a discontinuity near a critical normalized depth $γ_c\approx 0.42$ in sufficiently large models. We formalize the forward pass as a discrete coarse-graining map and relate the appearance of stable "concept basins" to fixed points of this renormalization-like dynamics. The resulting low-entropy regime is characterized by a spectral tail collapse and by the formation of transient, reusable object-like structures in representation space, which we call Transient Class Objects (TCOs). We provide theoretical conditions connecting logical separability to spectral decay and validate the predicted signatures with layerwise probes on multiple open-weight model families.
- Abstract（参考訳）: 幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。
暗黙のリーマン多様体上の流れとして隠れ状態軌跡を扱い、活性化の層状共分散スペクトルを解析し、$C^{(\ell)}=\mathbb{E}[h^{(\ell)}h^{(\ell)\top}]$を計算し、ランダム行列バルクからの偏差を追跡する。
Across model scales (1.5B-30B), we observed a sharp reduction of effective dimensionality consistent with a phase transition: a order parameter based on sparsity/localization, $Ω(h)=1-\|h\|_1/(\sqrt{d}\|h\|_2)$, showed a discontinuity near a critical normalized depth $γ_c\approx 0.42$ in enough large model。
我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。
結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
スペクトル崩壊に対する論理分離性を結合する理論的条件を提供し、複数のオープンウェイトモデルファミリー上の層状プローブを用いて予測されたシグネチャを検証する。
関連論文リスト
- Block-Recurrent Dynamics in Vision Transformers [42.261020313952976]
我々は、トレーニングされたViTは、元の$L$ブロックの計算を、繰り返し適用された$k ll L$ブロックのみを使用して正確に書き直せるようにブロック再帰的な深さ構造を許容していると主張している。
DINOv2 ImageNet-1kの線形プローブ精度を同等の計算コストで2ブロックで回収するために、Raptorモデルを訓練する。
論文 参考訳（メタデータ） (2025-12-23T00:18:23Z) - Spiral renormalization group flow and universal entanglement spectrum of the non-Hermitian 5-state Potts model [0.06597195879147556]
テンソルネットワークアルゴリズムは、まだ非エルミート理論をシミュレートできることを示す。
我々は、基底状態に符号化されたハミルトニアンの絡み目を通して、完全な境界CCFTスペクトルを再構成する。
論文 参考訳（メタデータ） (2025-07-19T19:46:16Z) - Generalized Linear Mode Connectivity for Transformers [87.32299363530996]
驚くべき現象はリニアモード接続(LMC)であり、独立に訓練されたモデルを低損失またはゼロ損失の経路で接続することができる。
以前の研究は主に置換によるニューロンの並べ替えに焦点を合わせてきたが、そのようなアプローチは範囲に限られている。
我々は、4つの対称性クラス(置換、半置換、変換、一般可逆写像)をキャプチャする統一的なフレームワークを導入する。
この一般化により、独立に訓練された視覚変換器とGPT-2モデルの間の低障壁とゼロバリア線形経路の発見が可能となった。
論文 参考訳（メタデータ） (2025-06-28T01:46:36Z) - Hessian Geometry of Latent Space in Generative Models [41.94295877935867]
生成モデルの潜在空間幾何学を解析するための新しい手法を提案する。
提案手法は, 得られた潜伏変数の後方分布を近似する。
IsingモデルとTASEPモデルで検証され、熱力学量の再構築において既存のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-06-12T12:17:40Z) - From Chern to Winding: Topological Invariant Correspondence in the Reduced Haldane Model [0.4249842620609682]
我々は、ジグザグエッジを持つハニカム格子上で定義されたハルダンモデルの位相的性質とエッジ状態について、正確に分析した。
この$nu$は、位相的に非自明な位相において、親モデルのチャーン数を正確に再現することを示す。
我々の分析により、エッジ状態がバルクエネルギーギャップを横切る臨界運動量$k_c$がさらに明らかになった。
論文 参考訳（メタデータ） (2025-05-26T19:11:43Z) - Global Convergence in Training Large-Scale Transformers [43.3685424966098]
本稿では,重力減衰正則化を用いた変圧器の訓練における勾配流の収束特性を厳密に解析する。
我々の分析は、トランスフォーマーに適応する一連の新しい平均場技術に基づいている。
論文 参考訳（メタデータ） (2024-10-31T03:51:39Z) - Message-Passing Neural Quantum States for the Homogeneous Electron Gas [41.94295877935867]
連続空間における強相互作用フェルミオンをシミュレートするメッセージパッシング・ニューラルネットワークに基づく波動関数Ansatzを導入する。
等質電子ガスの基底状態を3次元でシミュレーションすることにより,その精度を実証する。
論文 参考訳（メタデータ） (2023-05-12T04:12:04Z) - Nonlinear sigma models for monitored dynamics of free fermions [0.0]
自由フェルミオン系における測定誘起相転移に関する記述を導出する。
我々は、実効的なスピン鎖の想像的時間進化にダイナミクスをマッピングするためにレプリカのトリックを使用する。
これは$Ntimes N$行列に対する非線形シグマモデルであり、レプリカ極限$Nto 1$である。
論文 参考訳（メタデータ） (2023-02-24T18:56:37Z) - Boundary theories of critical matchgate tensor networks [59.433172590351234]
AdS/CFT対応の重要な側面は、双曲格子上のテンソルネットワークモデルの観点から捉えることができる。
マッチゲート制約を満たすテンソルに対しては、これらは以前、乱れた境界状態を生成することが示されている。
これらのハミルトニアンは、解析的な玩具モデルによって捉えられたマルチスケールの準周期対称性を示す。
論文 参考訳（メタデータ） (2021-10-06T18:00:03Z) - Discrete truncated Wigner approach to dynamical phase transitions in
Ising models after a quantum quench [0.0]
量子クエンチ後の横フィールドイジングモデルの定常状態における動的相転移について検討する。
我々は$alpha lesssim 0.5$の同じ指数を見つけ、この状態の動的遷移が非エルゴード平均場極限と同じ普遍性クラスに該当することを示唆する。
論文 参考訳（メタデータ） (2020-04-21T08:20:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。