論文の概要: Feature Lottery? A Bifurcation Theory of Concept Emergence
- arxiv url: http://arxiv.org/abs/2605.24057v1
- Date: Fri, 22 May 2026 02:08:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:17.564847
- Title: Feature Lottery? A Bifurcation Theory of Concept Emergence
- Title（参考訳）: 特徴ロータリー : 概念創発の分岐理論
- Authors: Fuming Yang,
- Abstract要約: 構造物の開始は、ロス・ヘッセンによって駆動される超臨界ピッチフォーク分岐に対応することを示す。
この座標によって予測される4つの異なる遷移規則を、多様な設定で実証的に検証する。
我々はこれをSAEトレーニングの「機能宝くじ」と呼び、特徴の終端解釈可能性が驚くほど早く予測可能となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks acquire structured representations at specific moments during training, yet identifying these transitions typically relies on retrospective, label-dependent metrics. We introduce a bifurcation theory of representation dynamics to detect these moments in real time. Analyzing a passive GMM probe attached to the evolving encoder, we show the onset of structure corresponds to a supercritical pitchfork bifurcation driven by the loss Hessian. The system exhibits a theoretically predictable zero-crossing ($β_c$) that, compared to the network's current state ($β$), yields a dynamic ratio $β(t)/β_c(t)$: a universal, label-free phase coordinate for representation dynamics, computable entirely from hidden states. We empirically validate four distinct transition regimes predicted by this coordinate across diverse settings: SAEs on language models (Pythia), SSL (CIFAR), and grokking (modular arithmetic). Crucially, under finite dissipation, macroscopic symmetry-breaking can lag the initial zero-crossing by orders of magnitude, which providing a rigorous dynamical account of the delayed escape observed in grokking. Microscopically, the bifurcation creates a shared unstable subspace, forcing collective symmetry breaking. We term this the "feature lottery" in SAE training: a feature's terminal interpretability becomes predictable remarkably early. By only 5% of training, early atom purity robustly predicts final convergence purity, with top-decile early atoms achieving over 12x the baseline purity at convergence. Beyond explaining concept emergence, $β/β_c$ provides a practical early-warning indicator for training health, detecting the onset of usable structure, the crystallization of feature identity, and representational collapse epochs before downstream metrics react.
- Abstract（参考訳）: ニューラルネットワークはトレーニング中の特定の瞬間に構造化された表現を取得するが、これらの遷移を特定するには、通常、ラベルに依存した振り返りに依存する。
本稿では,これらのモーメントをリアルタイムに検出するために,表現力学の分岐理論を導入する。
進化するエンコーダに結合した受動型GMMプローブを解析したところ、構造開始はロス・ヘッセンによって駆動される超臨界ピッチフォーク分岐に対応することが示された。
このシステムは理論上予測可能なゼロクロス(β_c$)を示し、ネットワークの現在の状態(β$)と比較して、動的比$β(t)/β_c(t)$: 隠れ状態から完全に計算可能な表現力学のための普遍的でラベルのない位相座標を与える。
我々は、この座標によって予測される4つの異なる遷移規則を、言語モデル(Pythia)、SSL(CIFAR)、グラッキング(モジュラー算術)の4つの異なる設定で実証的に検証した。
重要なことに、有限散逸の下では、マクロ対称性の破れは初期ゼロクロスを桁違いに遅延させ、グラッキングで観測される遅延脱出の厳密な力学的な説明を与える。
微視的に、分岐は共有不安定な部分空間を形成し、集合対称性の破れを強いる。
我々はこれをSAEトレーニングの「機能宝くじ」と呼び、特徴の終端解釈可能性が驚くほど早く予測可能となる。
トレーニングのわずか5%で、初期の原子純度は最終収束の純度を強く予測し、最上位の原子は収束時の基線純度を12倍以上達成する。
概念の出現を説明する以外に、$β/β_c$は、トレーニングの早期警戒指標、使用可能な構造の開始、特徴の結晶化、下流のメトリクスが反応する前の表現的崩壊のエポックを検出する。
関連論文リスト
- Learning Time-Inhomogeneous Markov Dynamics in Financial Time Series via Neural Parameterization [0.0]
本稿では、ニューラルネットワークをパラメータ化エンジンとして厳密に活用して、明示的で時間的なマルコフ遷移行列を生成するフレームワークを提案する。
ニューラルネットワークが予測を形式演算子として出力することを制約することにより、完全な構造的解釈可能性を維持する。
このフレームワークは、複雑な実世界の時系列に対して厳密で古典的な演算子分析を実行可能なものにするために、ニューラルネットワークをいかに制約するかを示す。
論文 参考訳（メタデータ） (2026-05-06T09:39:04Z) - On the Mechanism and Dynamics of Modular Addition: Fourier Features, Lottery Ticket, and Grokking [49.1352577985191]
本稿では,2層ニューラルネットワークがモジュール追加タスクを解くために,機能をどのように学習するかを包括的に分析する。
我々の研究は、学習したモデルの完全な機械論的解釈と、その訓練力学の理論的説明を提供する。
論文 参考訳（メタデータ） (2026-02-18T20:25:13Z) - Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations [49.702772230127465]
有限状態マルコフ鎖を$n$状態と遷移行列$P$で研究する。
すべての非退化モードが実周辺不変部分空間 $mathcalK(P)$ によってキャプチャされ、商空間 $mathbbRn/mathcalK(P) 上の誘導作用素が厳密に収縮し、ユニークな商解が得られることを示す。
論文 参考訳（メタデータ） (2026-01-31T02:57:01Z) - Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds [0.5729426778193398]
幾何学的および統計的物理レンズを用いた深部変圧器言語モデルにおける多段階推論の出現について検討する。
我々は、フォワードパスを離散粗粒度写像として形式化し、安定な「概念盆地」の出現と、この再正規化のような力学の固定点を関連付ける。
結果として生じる低エントロピー状態は、スペクトルテール崩壊と、表現空間における過渡的で再利用可能なオブジェクトのような構造の形成によって特徴づけられる。
論文 参考訳（メタデータ） (2026-01-16T23:11:02Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Chaos, Entanglement and Measurement: Field-Theoretic Perspectives on Quantum Information Dynamics [0.0]
I study scrambling and pseudorandomness in the Brownian Sachdev-Ye-Kitaev model。
弱測定SYKクラスターに対する場の理論を構築する。
測定専用SYKクラスタのための高次再正規化グループを開発した。
論文 参考訳（メタデータ） (2025-12-11T10:04:30Z) - Transformer Injectivity & Geometric Robustness - Analytic Margins and Bi-Lipschitz Uniformity of Sequence-Level Hidden States [0.0]
離散的プロンプトから終点隠れ状態への写像は、有限プロンプト集合に対して一般射影的であることを示す。
本研究では, 層間, シーケンス長, モデルスケール, 8ビットおよび4ビットのアクティベーション量子化について検討した。
論文 参考訳（メタデータ） (2025-11-17T19:39:15Z) - Unsupervised Learning of Equivariant Structure from Sequences [30.974508897223124]
我々は,少なくとも3つの長さの時系列から対称性を学習するための教師なしのフレームワークを提案する。
当社のフレームワークでは,データセットの非絡み合い構造が副産物として自然に現れることを実証します。
論文 参考訳（メタデータ） (2022-10-12T07:29:18Z) - CARD: Classification and Regression Diffusion Models [51.0421331214229]
本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。
おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
論文 参考訳（メタデータ） (2022-06-15T03:30:38Z) - Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。
特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
論文 参考訳（メタデータ） (2020-06-08T17:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。