論文の概要: Phase transitions reveal hierarchical structure in deep neural networks

• arxiv url: http://arxiv.org/abs/2512.11866v1
• Date: Fri, 05 Dec 2025 15:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-21 14:22:08.741775
• Title: Phase transitions reveal hierarchical structure in deep neural networks
• Title（参考訳）: 位相遷移はディープニューラルネットワークにおける階層構造を明らかにする
• Authors: Ibrahim Talha Ersoy, Andrés Fernando Cardozo Licha, Karoline Wiesner,
• Abstract要約: 本稿では,Deep Neural Networksにおける位相遷移が,ロスランドスケープにおけるサドルポイントによって制御されていることを示す。 我々は,L2正規化器を誤差景観の幾何学を探索するツールとして用いた,単純で高速で実装が容易なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training Deep Neural Networks relies on the model converging on a high-dimensional, non-convex loss landscape toward a good minimum. Yet, much of the phenomenology of training remains ill understood. We focus on three seemingly disparate observations: the occurrence of phase transitions reminiscent of statistical physics, the ubiquity of saddle points, and phenomenon of mode connectivity relevant for model merging. We unify these within a single explanatory framework, the geometry of the loss and error landscapes. We analytically show that phase transitions in DNN learning are governed by saddle points in the loss landscape. Building on this insight, we introduce a simple, fast, and easy to implement algorithm that uses the L2 regularizer as a tool to probe the geometry of error landscapes. We apply it to confirm mode connectivity in DNNs trained on the MNIST dataset by efficiently finding paths that connect global minima. We then show numerically that saddle points induce transitions between models that encode distinct digit classes. Our work establishes the geometric origin of key training phenomena in DNNs and reveals a hierarchy of accuracy basins analogous to phases in statistical physics.
• Abstract（参考訳）: ディープニューラルネットワークのトレーニングは、高次元の非凸ロスランドスケープを最小限に集約するモデルに依存している。 しかし、訓練の現象学の多くはいまだに理解されていない。 相転移の発生は統計物理学、サドル点のユビキティ、モデルマージに関連するモード接続現象である。 我々はこれらを1つの説明的枠組み、損失とエラーの風景の幾何学にまとめる。 DNN学習における位相遷移は、損失景観におけるサドルポイントによって制御されていることを解析的に示す。 この知見に基づいて,L2正規化器を誤差景観の幾何学を探索するツールとして用いた,単純で高速で実装が容易なアルゴリズムを導入する。 我々は,MNISTデータセット上で訓練されたDNNにおいて,グローバルなミニマを接続する経路を効率的に見つけることで,モード接続性を確認する。 次に、サドル点が異なる桁のクラスを符号化するモデル間の遷移を誘導することを示す。 我々の研究は、DNNにおけるキートレーニング現象の幾何学的起源を確立し、統計物理学の位相に類似した精度の階層構造を明らかにする。

関連論文リスト

• Phase Transitions between Accuracy Regimes in L2 regularized Deep Neural Networks [0.0]
  ディープニューラルネットワーク(DNN)のL2正規化が増加すると、第1次位相遷移がアンダーパラメトリゼーションフェーズに遷移する。 我々は,データの複雑性が増大するにつれて新たな遷移点を予測し,相転移の理論に従って効果の存在を予測する。
  論文  参考訳（メタデータ） (2025-05-10T11:02:30Z)
• Equi-GSPR: Equivariant SE(3) Graph Network Model for Sparse Point Cloud Registration [2.814748676983944]
  局所球面ユークリッド3次元等分散特性をSE(3)メッセージパッシングに基づく伝搬により埋め込んだグラフニューラルネットワークモデルを提案する。 我々のモデルは、主に記述モジュール、同変グラフ層、類似性、最終的な回帰層から構成される。 3DMatchおよびKITTIデータセットで行った実験は、最先端のアプローチと比較して、我々のモデルの魅力的で堅牢な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T06:48:01Z)
• Exploring Geometric Deep Learning For Precipitation Nowcasting [28.44612565923532]
  そこで我々は,降水量予測のための幾何学的深層学習に基づく時間的グラフ畳み込みネットワーク(GCN)を提案する。 格子セル間の相互作用をシミュレートする隣接行列は、予測と接地真理画素値とのL1損失を最小化することにより、自動的に学習される。 トレント/アイタリー地域におけるレーダ反射率マップの配列について実験を行った。
  論文  参考訳（メタデータ） (2023-09-11T21:14:55Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Unsupervised mapping of phase diagrams of 2D systems from infinite projected entangled-pair states via deep anomaly detection [0.0]
  本研究では, 2次元量子多体系の位相図を, 事前の物理知識を持たない方法でマップアウトする方法を示す。 ベンチマークとして、2次元フラストレーションされた2層ハイゼンベルクモデルの位相図を解析する。 遷移ラインの質的な画像を得るためには、コスト効率のよい単純な更新最適化からのデータを使用することが十分であることを示す。
  論文  参考訳（メタデータ） (2021-05-19T12:19:20Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。