論文の概要: Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia

• arxiv url: http://arxiv.org/abs/2603.12316v1
• Date: Thu, 12 Mar 2026 18:00:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.698875
• Title: Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia
• Title（参考訳）: 完全連結ニューラルネットワークにおけるプルーニング誘起相:umentia、dementia、amentia
• Authors: Haining Pan, Nakul Aggarwal, J. H. Pixley,
• Abstract要約: 我々は、MNISTでトレーニングされた完全接続ニューラルネットワークについて検討し、トレーニング段階と評価段階の両方で独立にドロップアウト率を変化させた。 eumentia(ネットワークが学習する)、dementia(ネットワークが忘れる)、amentia(ネットワークが学習できない)の3つの相を識別する。 以上の結果から, 投棄によって引き起こされるプルーニングは, 統計力学のレンズを通してニューラルネットワークの動作を理解する具体的環境を提供することが示された。
• 参考スコア（独自算出の注目度）: 0.18206461789819073
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Modern neural networks are heavily overparameterized, and pruning, which removes redundant neurons or connections, has emerged as a key approach to compressing them without sacrificing performance. However, while practical pruning methods are well developed, whether pruning induces sharp phase transitions in the neural networks and, if so, to what universality class they belong, remain open questions. To address this, we study fully-connected neural networks trained on MNIST, independently varying the dropout (i.e., removing neurons) rate at both the training and evaluation stages to map the phase diagram. We identify three distinct phases: eumentia (the network learns), dementia (the network has forgotten), and amentia (the network cannot learn), sharply distinguished by the power-law scaling of the cross-entropy loss with the training dataset size. {In the eumentia phase, the algebraic decay of the loss, as documented in the machine learning literature as neural scaling laws, is from the perspective of statistical mechanics the hallmark of quasi-long-range order.} We demonstrate that the transition between the eumentia and dementia phases is accompanied by scale invariance, with a diverging length scale that exhibits hallmarks of a Berezinskii-Kosterlitz-Thouless-like transition; the phase structure is robust across different network widths and depths. Our results establish that dropout-induced pruning provides a concrete setting in which neural network behavior can be understood through the lens of statistical mechanics.
• Abstract（参考訳）: 現代のニューラルネットワークは過度にパラメータ化されており、冗長なニューロンや接続を取り除くプルーニングは、パフォーマンスを犠牲にすることなくそれらを圧縮するための重要なアプローチとして現れている。 しかし、実用的な刈り取り法はよく開発されているが、刈り込みがニューラルネットワークの急激な位相遷移を誘発するかどうか、そしてもしそうであれば、彼らが属する普遍性クラスはオープンな問題のままである。 そこで本研究では,MNISTでトレーニングされた完全連結ニューラルネットワークについて検討し,学習段階と評価段階の両方で,それぞれ独立にドロップアウト率(ニューロン除去)を変化させ,位相図をマッピングした。 ネットワークが学習する)umentia、(ネットワークが学習する)dementia、(ネットワークが学習できない)amentiaの3つの異なるフェーズを特定し、トレーニングデータセットサイズによるクロスエントロピー損失のパワー-ロケーションによって明確に区別する。 {umentia 相において、損失の代数的崩壊は、機械学習の文献にニューラルスケーリング法則として記述されているように、統計力学の観点からは準長距離秩序の指標である。 The transition between the eumentia and dementia phases is accompanied with scale invariance, with a diverging length scale that showmarks of a Berezinskii-Kosterlitz-Thouless-like transition; the phase structure are robust across different network widths and depths。 以上の結果から, 投棄によって引き起こされるプルーニングは, 統計力学のレンズを通してニューラルネットワークの動作を理解する具体的環境を提供することが示された。

関連論文リスト

• An unsupervised tour through the hidden pathways of deep neural networks [6.063903439185316]
  この論文は、教師なし学習ツールによる隠蔽表現の意味的内容の特徴付けに焦点を当てている。 第3章では、最先端のディープニューラルネットワークにおいて、隠れた層にまたがる確率密度の進化について検討する。 第4章では、ディープニューラルネットワークにおける一般化の問題について検討する。
  論文  参考訳（メタデータ） (2025-10-24T15:50:31Z)
• The Butterfly Effect: Neural Network Training Trajectories Are Highly Sensitive to Initial Conditions [51.68215326304272]
  たとえ小さな摂動であっても、同じ訓練軌跡を確実に引き起こすことで、トレーニング時間とともに急速に減少する効果が発散することを示します。 この結果から,ニューラルネットワークのトレーニング安定性,微調整,モデルマージ,モデルアンサンブルの多様性の実践的意味が示唆された。
  論文  参考訳（メタデータ） (2025-06-16T08:35:16Z)
• Dissecting a Small Artificial Neural Network [0.0]
  論理排他論理(XOR)ゲートを表す最も単純な人工ニューラルネットワークの損失景観と収束のバックプロパゲーションダイナミクスについて検討する。 9次元パラメータ空間におけるロスランドスケープの断面は異なる特徴を示しており、なぜバックプロパゲーションがゼロロスへの収束を達成できるのかを理解するのに役立つ。
  論文  参考訳（メタデータ） (2025-01-03T21:14:46Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural network is heterogeneous: Phase matters more [10.812772606528172]
  複素数値ニューラルネットワークにおいて, 位相情報のみを保存した重み行列は, 異なる種類のプルーニングにおいて, 最良の精度が得られることを示す。 この結論は、信号が位相に取って代わる実数値ニューラルネットワークに一般化することができる。
  論文  参考訳（メタデータ） (2021-11-03T04:30:20Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。