論文の概要: Eigenvalues of the Hessian in Deep Learning: The Origin of Symmetry and Its Breaking
- arxiv url: http://arxiv.org/abs/2610.09919v1
- Date: Wed, 07 Oct 2026 12:08:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.897754
- Title: Eigenvalues of the Hessian in Deep Learning: The Origin of Symmetry and Its Breaking
- Title（参考訳）: 深層学習におけるヘッセンの固有値:対称性の起源とその破断
- Abstract要約: ディープラーニングにおける訓練されたモデルのヘッセンスペクトルは永続的なパターンを示す。
固有値は、ゼロに近い大きなバルクといくつかの孤立した外れ値を含む、異なるクラスタにまとめられる。
本稿では、これらのスペクトル現象の自然な説明が、元の設定が近辺の、他の隠れた、高度に対称な参照から外れていると理解されたときに現れることを示す。
- 参考スコア（独自算出の注目度）: 3.2658295979028744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hessian spectra at trained models in deep learning exhibit a persistent pattern: eigenvalues organize into distinct clusters, including a large bulk near zero and a few isolated outliers. This paper shows that a natural account of these spectral phenomena emerges when the original setting is understood as a departure from a nearby, otherwise hidden, highly symmetric reference. Modifications, including changes to the architecture, data distribution, or parameter metric, expose a nearby reference configuration whose Hessian exhibits rich invariances-ones not accounted for by weight symmetries. There, symmetry enables a precise description of the spectra, forcing high-dimensional kernels and eigenvalues of large multiplicity. Returning to the original configuration breaks the Hessian symmetry and thereby produces the observed hierarchy of clusters and outliers. The framework is developed in some generality, with a detailed analysis of three-layer ReLU networks and applications to convolutional, graph, and transformer models, as well as to the NTK. The same mechanism is further shown to yield analogous spectral structures in layerwise Hessians and the Gauss-Newton matrix.
- Abstract（参考訳）: 深層学習における訓練されたモデルのヘッセンスペクトルは永続的なパターンを示し、固有値は0に近い大きなバルクといくつかの孤立した外れ値を含む、異なるクラスタにまとめられる。
本稿では、これらのスペクトル現象の自然な説明が、元の設定が近辺の、他の隠れた、高度に対称な参照から外れていると理解されたときに現れることを示す。
アーキテクチャ、データ分散、パラメータメトリックの変更を含む変更は、ヘッセンが重み対称性によって説明されない豊富な不変量を示す近くの参照構成を公開する。
そこで対称性はスペクトルの正確な記述を可能にし、高次元の核と大きな多重性の固有値を強制する。
元の構成に戻ると、ヘッセン対称性が破られ、観測されたクラスターと外層の階層が生成される。
このフレームワークは汎用的に開発されており、3層ReLUネットワークを詳細に分析し、畳み込みモデル、グラフモデル、トランスフォーマーモデル、NTKに応用する。
同じ機構がさらに示され、層状ヘッセン及びガウス-ニュートン行列における類似のスペクトル構造が得られる。
関連論文リスト
- A Theory of Speciation in Generative Diffusion Models on Compact Riemannian Manifolds [0.05729426778193397]
生成拡散モデルの種分化は、発声中の異なる安定な枝の出現を示す。
我々は、通常対称ピッチフォーク分岐による偏差を識別する既存の理論記述を超越する。
ニューラルネットワークに基づくチャートに基づく本質的なスコア学習スキームは、プロトタイパーの理論的に予測された遷移と対比する。
論文 参考訳（メタデータ） (2026-08-24T20:03:31Z) - Explaining Near-Zero Hessian Eigenvalues Through Approximate Symmetries in Neural Networks [3.437656066916039]
トレーニング損失のヘシアン(Hessian)は、ロスランドスケープの局所的な幾何学を統治する。
このバルクは、ネットワークパラメトリゼーションの連続対称性の弱い持ち上げされた擬ゴールドストーンモードから成り立っていると論じる。
論文 参考訳（メタデータ） (2026-07-08T18:27:16Z) - Bootstrapping Symmetries in Quantum Many-Body Systems from the Cross Spectral Form Factor [6.8996092922585675]
量子多体格子ハミルトンの隠れ有限群対称性の表現理論を再構築するためのブートストラップフレームワークを導入する。
私たちのフレームワークはカオス的で統合可能な多体システムにも同じように当てはまります。
論文 参考訳（メタデータ） (2026-04-01T18:02:36Z) - Spectral Discovery of Continuous Symmetries via Generalized Fourier Transforms [9.80927748311872]
連続対称性は多くの科学的および学習上の問題に基礎を置いている。
既存の対称性発見アプローチは、典型的には変換生成器の空間内で直接探索するか、学習された拡張スキームに依存している。
論文 参考訳（メタデータ） (2026-03-07T17:46:00Z) - Spectral statistics and localization properties of a $C_3$-symmetric billiard [0.0]
Dembowskiによって導入されたC$_3$-対称ビリヤードのスペクトル統計学を再考する。
我々は各対称性部分空間で2.8x10$5$固有値を計算し、確率行列理論と統計的に有意な比較を可能にする。
改良されたスペクトルは、GOE-GUE対応を明確にし、長距離スペクトル相関で観測された偏差を解消する。
論文 参考訳（メタデータ） (2026-03-03T19:16:28Z) - Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-02-16T18:58:55Z) - Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。
我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文 参考訳（メタデータ） (2023-09-14T00:40:07Z) - Oracle-Preserving Latent Flows [58.720142291102135]
我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。
対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。
この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
論文 参考訳（メタデータ） (2023-02-02T00:13:32Z) - Deep Learning Symmetries and Their Lie Groups, Algebras, and Subalgebras
from First Principles [55.41644538483948]
ラベル付きデータセットに存在する連続した対称性群の検出と同定のためのディープラーニングアルゴリズムを設計する。
完全に接続されたニューラルネットワークを用いて、変換対称性と対応するジェネレータをモデル化する。
また,Lie群とその性質の数学的研究に機械学習アプローチを使うための扉を開く。
論文 参考訳（メタデータ） (2023-01-13T16:25:25Z) - Understanding Graph Neural Networks with Generalized Geometric
Scattering Transforms [67.88675386638043]
散乱変換は、畳み込みニューラルネットワークのモデルとして機能する多層ウェーブレットベースのディープラーニングアーキテクチャである。
非対称ウェーブレットの非常に一般的なクラスに基づくグラフに対して、窓付きおよび非窓付き幾何散乱変換を導入する。
これらの非対称グラフ散乱変換は、対称グラフ散乱変換と多くの理論的保証を持つことを示す。
論文 参考訳（メタデータ） (2019-11-14T17:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。