論文の概要: Genus expansion for non-linear random matrix ensembles with applications to neural networks

• arxiv url: http://arxiv.org/abs/2407.08459v5
• Date: Tue, 13 May 2025 10:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.139642
• Title: Genus expansion for non-linear random matrix ensembles with applications to neural networks
• Title（参考訳）: 非線形ランダム行列アンサンブルのための遺伝子拡張とニューラルネットワークへの応用
• Authors: Nicola Muca Cirone, Jad Hamdan, Cristopher Salvi,
• Abstract要約: 本研究では,ある非線形ランダム行列アンサンブルと関連するランダムニューラルネットワークを統一的に研究する手法を提案する。 我々は、ファア・ディ・ブルーノの公式を任意の数の合成に一般化するニューラルネットワークに対して、新しい級数展開を用いる。 応用として、ランダムな重みを持つニューラルネットワークについて、いくつかの結果を証明した。
• 参考スコア（独自算出の注目度）: 3.801509221714223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a unified approach to studying certain non-linear random matrix ensembles and associated random neural networks at initialization. This begins with a novel series expansion for neural networks which generalizes Fa\'a di Bruno's formula to an arbitrary number of compositions. The role of monomials is played by random multilinear maps indexed by directed graphs, whose edges correspond to random matrices. Crucially, this expansion linearizes the effect of the activation functions, allowing for the direct application of Wick's principle and the genus expansion technique. As an application, we prove several results about neural networks with random weights. We first give a new proof of the fact that they converge to Gaussian processes as their width tends to infinity. Secondly, we quantify the rate of convergence of the Neural Tangent Kernel to its deterministic limit in Frobenius norm. Finally, we compute the moments of the limiting spectral distribution of the Jacobian (only the first two of which were previously known), expressing them as sums over non-crossing partitions. All of these results are then generalised to the case of neural networks with sparse and non-Gaussian weights, under moment assumptions.
• Abstract（参考訳）: 本稿では,非線形な乱数行列アンサンブルと関連する乱数ニューラルネットワークを初期化時に検討するための統一的なアプローチを提案する。 これは、ファオア・ディ・ブルーノの公式を任意の数の合成に一般化するニューラルネットワークの新たなシリーズ展開から始まる。 単項写像の役割は、有向グラフによってインデックスされたランダムな多重線型写像によって演じられ、その辺はランダム行列に対応する。 重要なことに、この拡張は活性化関数の効果を線形化し、ウィックの原理と属拡大技術の直接適用を可能にする。 応用として、ランダムな重みを持つニューラルネットワークについて、いくつかの結果を証明した。 まず、それらの幅が無限大になる傾向があるため、それらがガウス過程に収束するという事実の新たな証明を与える。 第二に、フロベニウスノルムにおけるニューラル・タンジェント・カーネルの収束率と決定論的極限を定量化する。 最後に、ヤコビアンの制限スペクトル分布のモーメントを計算し、非交叉分割の和として表す。 これらの結果は、モーメント仮定の下で、スパース重みと非ガウス重みを持つニューラルネットワークの場合に一般化される。

関連論文リスト

• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel [0.0]
  グラフ畳み込みネットワークはディープニューラルネットワークアルゴリズムの一般的なクラスである。 その成功にもかかわらず、グラフ畳み込みネットワークには、過度に滑らかな関数やホモ親近性関数の学習へのバイアスなど、多くの特異な特徴がある。 せん断畳み込みネットワークのニューラル・タンジェント・カーネルの研究により,このギャップを埋めることを提案する。
  論文  参考訳（メタデータ） (2022-08-19T12:46:49Z)
• Graph-based Neural Acceleration for Nonnegative Matrix Factorization [0.0]
  非負行列分解のためのグラフベースのニューラルアクセラレーション手法について述べる。 我々は,乗算器の交互方向法に基づく更新により,二部構成の自己認識層をインターリーブするグラフニューラルネットワークを訓練する。 実世界のデータセットと2つの実世界のデータセットに対する評価は、より小さな合成インスタンスで教師なしの訓練をしても、かなり加速できることを示している。
  論文  参考訳（メタデータ） (2022-02-01T07:52:01Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
  ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。 本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
  論文  参考訳（メタデータ） (2021-02-14T20:31:49Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Block-Approximated Exponential Random Graphs [77.4792558024487]
  指数乱グラフ(ERG)の分野における重要な課題は、大きなグラフ上の非自明なERGの適合である。 本稿では,非自明なERGに対する近似フレームワークを提案する。 我々の手法は、数百万のノードからなるスパースグラフにスケーラブルである。
  論文  参考訳（メタデータ） (2020-02-14T11:42:16Z)
• On the Convex Behavior of Deep Neural Networks in Relation to the Layers' Width [99.24399270311069]
  より広いネットワークにおいて、降下最適化による損失を最小限に抑え、トレーニングの開始時と終了時に正の曲率の表面を貫き、その間の曲率をほぼゼロにすることを観察する。 言い換えれば、トレーニングプロセスの重要な部分において、広いネットワークにおけるヘッセンはG成分によって支配されているようである。
  論文  参考訳（メタデータ） (2020-01-14T16:30:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。