論文の概要: Approximate Gaussianity Beyond Initialisation in Neural Networks

• arxiv url: http://arxiv.org/abs/2510.05218v1
• Date: Mon, 06 Oct 2025 18:00:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:07.924157
• Title: Approximate Gaussianity Beyond Initialisation in Neural Networks
• Title（参考訳）: ニューラルネットワークの初期化を超える近似ガウス性
• Authors: Edward Hirst, Sanjaye Ramgoolam,
• Abstract要約: MNIST分類問題に対するトレーニングプロセスを通して,ニューラルネットワークの重み行列のアンサンブルについて検討する。 実験には、様々な初期化機構、規則化、層深さ、層幅の影響が含まれる。
• 参考スコア（独自算出の注目度）: 0.0954904463032233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensembles of neural network weight matrices are studied through the training process for the MNIST classification problem, testing the efficacy of matrix models for representing their distributions, under assumptions of Gaussianity and permutation-symmetry. The general 13-parameter permutation invariant Gaussian matrix models are found to be effective models for the correlated Gaussianity in the weight matrices, beyond the range of applicability of the simple Gaussian with independent identically distributed matrix variables, and notably well beyond the initialisation step. The representation theoretic model parameters, and the graph-theoretic characterisation of the permutation invariant matrix observables give an interpretable framework for the best-fit model and for small departures from Gaussianity. Additionally, the Wasserstein distance is calculated for this class of models and used to quantify the movement of the distributions over training. Throughout the work, the effects of varied initialisation regimes, regularisation, layer depth, and layer width are tested for this formalism, identifying limits where particular departures from Gaussianity are enhanced and how more general, yet still highly-interpretable, models can be developed.
• Abstract（参考訳）: ニューラルネットワークの重み行列のアンサンブルは、MNIST分類問題のトレーニングプロセスを通じて、ガウス性および置換対称性の仮定の下で、それらの分布を表す行列モデルの有効性をテストする。 一般の 13-パラメータ置換不変ガウス行列モデルは、ウェイト行列における相関ガウス性(英語版)の有効モデルであり、独立に均等に分布する行列変数を持つ単純ガウス行列の適用範囲を超えて、特に初期化段階を越えている。 表現論的モデルパラメータと置換不変行列可観測体のグラフ論的特徴付けは、最良のモデルとガウス性からのわずかな離脱のための解釈可能な枠組みを与える。 さらに、このモデルのクラスについてワッサーシュタイン距離を計算し、トレーニング中の分布の運動を定量化するために使用される。 作業を通して、様々な初期化体制、規則化、層深度、層幅の影響をこの形式主義のために検証し、ガウシアン性からの特定の離脱が拡張される限界と、より一般的なモデルがいかに高度に解釈可能であるかを特定する。

関連論文リスト

• Fundamental Limits of Matrix Sensing: Exact Asymptotics, Universality, and Applications [34.781211988554425]
  複数のサンプルからベイズ最適学習性能を特徴付ける厳密な方程式を提案する。 我々は統計物理学から非厳密な手法を用いて得られた予測を数学的に確立する。
  論文  参考訳（メタデータ） (2025-03-18T10:36:30Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• Estimation of sparse Gaussian graphical models with hidden clustering structure [8.258451067861932]
  隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。 対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。 合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-04-17T08:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。