論文の概要: Cascading Through the Hierarchy: Regularizer-Induced Feature Detection as Phase Transitions in Deep Linear Neural Networks
- arxiv url: http://arxiv.org/abs/2608.06597v1
- Date: Thu, 06 Aug 2026 21:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.295494
- Title: Cascading Through the Hierarchy: Regularizer-Induced Feature Detection as Phase Transitions in Deep Linear Neural Networks
- Title（参考訳）: 階層を通したカスケード: 線形ニューラルネットワークの位相遷移としての正則化による特徴検出
- Abstract要約: 学習力学と学習モデルの統計特性を含む深層学習の科学的理論が急速に注目されている。
この発展のコーナーストーンの1つは分析的に解決可能なおもちゃモデルであり、学習力学の完全な抽出可能な解析を可能にする。
ここでは, 正規化強度を調整可能な外部パラメータとして用いて, 統計物理学の外部場に類似した玩具モデルを解析的に検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A scientific theory of deep learning, comprising learning dynamics and statistical properties of learned models, is rapidly gaining attention. One of the corner stones of this development are analytically solvable toy models, allowing for the fully tractable analysis of the learning dynamics. Here we analytically investigate such a toy model using the regularization strength as a tunable external parameter - akin to external fields in statistical physics. In previous studies, (i) an onset of learning transition was predicted analytically and (ii) it was phenomenologically/numerically established that tuning the regularization strength can result in a cascade of phase transitions. The number of those transitions was linked to the geometry of the loss landscape determined by the model complexity. Setting up a rigorous framework underpinning the previous numerical observations, our investigation reveals a precise connection between those cascades of phase transitions, learnable features and the underlying geometry. We provide analytic predictions of these phase transitions as well as tractable order parameters related to learned features. At the level of the minimal model, we connect this macroscopic perspective (that can be condensed into an effective description) to the microscopic perspective in terms of the geometry of the loss landscape characterized by the Hessian spectrum. Thus, the presented model provides a platform to explore and sharpen advances made in the scientific theory of deep learning rooted in statistical physics concepts.
- Abstract（参考訳）: 学習力学と学習モデルの統計特性を含む深層学習の科学的理論が急速に注目されている。
この発展のコーナーストーンの1つは分析的に解決可能なおもちゃモデルであり、学習力学の完全な抽出可能な解析を可能にする。
ここでは, 正規化強度を調整可能な外部パラメータとして用いて, 統計物理学の外部場に類似した玩具モデルを解析的に検討する。
以前の研究。
(i)学習遷移の開始を解析的に予測し、
(II) 規則化強度の調整が相転移のカスケードをもたらすことは, 現象学的・数値的に確立された。
これらの遷移の数は、モデル複雑性によって決定される損失ランドスケープの幾何学と関連づけられた。
従来の数値観測の基盤となる厳密な枠組みを構築し, 位相遷移のカスケード, 学習可能な特徴, 基礎となる幾何学の正確な関係を明らかにする。
我々はこれらの相転移の解析的予測と、学習した特徴に関連する抽出可能な順序パラメータを提供する。
最小モデルのレベルでは、このマクロな視点(効果的に記述できる)を、ヘッセンスペクトルによって特徴づけられる損失景観の幾何学の観点から、顕微鏡的な視点に結びつける。
このように、提示されたモデルは、統計物理学の概念に根ざした深層学習の科学的理論における進歩を探求し、研ぎ澄ますためのプラットフォームを提供する。
関連論文リスト
- Invariant Learning Dynamics of Transformers in Inductive Reasoning Tasks [50.79340930913805]
文献で知られているいくつかの合成タスクを統一する帰納的タスクのクラスについて検討する。
低次元力学現象として回路形成を鋳造することにより、トランスフォーマーの学習方法に関する予測理論へと進む。
論文 参考訳（メタデータ） (2026-07-13T17:56:11Z) - Causal Representation Meets Stochastic Modeling under Generic Geometry [49.24293444627916]
我々は,連続時間潜在点過程の因果表現学習を開発する。
MUTATEは時間適応型遷移モジュールを持つ変分自動エンコーダフレームワークである。
シミュレーションおよび実証研究全体で、MUTATEは科学的疑問に効果的に答えられることが判明した。
論文 参考訳（メタデータ） (2026-02-04T20:40:53Z) - Phase transitions reveal hierarchical structure in deep neural networks [0.0]
本稿では,Deep Neural Networksにおける位相遷移が,ロスランドスケープにおけるサドルポイントによって制御されていることを示す。
我々は,L2正規化器を誤差景観の幾何学を探索するツールとして用いた,単純で高速で実装が容易なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-12-05T15:14:09Z) - Neural models for prediction of spatially patterned phase transitions: methods and challenges [0.37282630026096597]
早期警告信号(EWS)検出は、今後のクリティカルトランジションの動的シグネチャを識別する可能性を示唆している。
本稿では,空間的位相パターン遷移に対するニューラルEWS検出の成功と欠点について検討する。
論文 参考訳（メタデータ） (2025-05-14T18:24:15Z) - Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - Analyzing Deep Transformer Models for Time Series Forecasting via Manifold Learning [4.910937238451485]
トランスフォーマーモデルは、自然言語処理やコンピュータビジョンといった様々な領域において、一貫して顕著な成果を上げてきた。
これらのモデルをよりよく理解するための継続的な研究努力にもかかわらず、この分野はいまだに包括的な理解を欠いている。
画像やテキスト情報とは異なり、時系列データは解釈し分析することがより困難である。
論文 参考訳（メタデータ） (2024-10-17T17:32:35Z) - Cascade of phase transitions in the training of Energy-based models [9.945465034701288]
原型エネルギーベース生成モデルBernoulli-Bernoulli RBMの特徴符号化過程について検討した。
本研究は、その特異値分解によるモデルの重み行列の進化をトラックする。
我々はBernoulli-Bernoulli RBMを実データ集合上でトレーニングすることで理論的結果を検証する。
論文 参考訳（メタデータ） (2024-05-23T15:25:56Z) - Explaining the Machine Learning Solution of the Ising Model [0.0]
この研究は、統計物理学における機械学習(ML)研究の主要なターゲットである強磁性イジングモデルに対してどのように達成できるかを示す。
隠れた層を持たないニューラルネットワーク(NN)を使用し(最も単純な)、ハミルトニアンの対称性によって情報を伝達することにより、教師付き学習ソリューションを見つけるための戦略を説明する。
これらの結果は、物理インフォームドされた説明可能な一般化されたフレームワークへの道を開き、モデルのパラメータから物理法則と原理を抽出することができる。
論文 参考訳（メタデータ） (2024-02-18T20:47:33Z) - Neural network analysis of neutron and X-ray reflectivity data:
Incorporating prior knowledge for tackling the phase problem [141.5628276096321]
本稿では,事前知識を利用して,より大規模なパラメータ空間上でのトレーニングプロセスを標準化する手法を提案する。
ボックスモデルパラメータ化を用いた多層構造を含む様々なシナリオにおいて,本手法の有効性を示す。
従来の手法とは対照的に,逆問題の複雑性を増大させると,我々の手法は好適にスケールする。
論文 参考訳（メタデータ） (2023-06-28T11:15:53Z) - Latent Traversals in Generative Models as Potential Flows [113.4232528843775]
我々は,学習された動的ポテンシャルランドスケープを持つ潜在構造をモデル化することを提案する。
物理、最適輸送、神経科学にインスパイアされたこれらの潜在的景観は、物理的に現実的な偏微分方程式として学習される。
本手法は,最先端のベースラインよりも定性的かつ定量的に歪んだ軌跡を実現する。
論文 参考訳（メタデータ） (2023-04-25T15:53:45Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。