論文の概要: Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural Networks: Orthogonal Case

• arxiv url: http://arxiv.org/abs/2201.04543v1
• Date: Wed, 12 Jan 2022 16:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-13 14:19:36.183705
• Title: Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural Networks: Orthogonal Case
• Title（参考訳）: 深部ニューラルネットワークにおける大きなランダム行列の固有値分布:直交の場合
• Authors: Leonid Pastur
• Abstract要約: 本論文は, 入力出力ヤコビアンの無限幅限界における入力出力ヤコビアンの特異値の分布を取り扱う。 これらの場合、無限幅の極限におけるヤコビアンの特異値分布は、特別なランダムだがウェイト独立な対角行列を持つヤコビアンの類似値と一致すると主張された。
• 参考スコア（独自算出の注目度）: 1.6244541005112747
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The paper deals with the distribution of singular values of the input-output Jacobian of deep untrained neural networks in the limit of their infinite width. The Jacobian is the product of random matrices where the independent rectangular weight matrices alternate with diagonal matrices whose entries depend on the corresponding column of the nearest neighbor weight matrix. The problem was considered in \cite{Pe-Co:18} for the Gaussian weights and biases and also for the weights that are Haar distributed orthogonal matrices and Gaussian biases. Basing on a free probability argument, it was claimed that in these cases the singular value distribution of the Jacobian in the limit of infinite width (matrix size) coincides with that of the analog of the Jacobian with special random but weight independent diagonal matrices, the case well known in random matrix theory. The claim was rigorously proved in \cite{Pa-Sl:21} for a quite general class of weights and biases with i.i.d. (including Gaussian) entries by using a version of the techniques of random matrix theory. In this paper we use another version of the techniques to justify the claim for random Haar distributed weight matrices and Gaussian biases.
• Abstract（参考訳）: 本論文は、ニューラルネットワークの入力出力ヤコビアンの無限幅の限界における特異値の分布を扱っている。 ヤコビアン (Jacobian) は無作為行列の積であり、独立長方行列は近辺の重み行列の対応する列に依存する対角行列と交互である。 この問題はガウスの重みと偏りについて \cite{Pe-Co:18} において考慮され、ハール分布直交行列とガウスの偏りである重みについても検討された。 自由確率論に基づくと、これらの場合、無限幅(行列サイズ)の極限におけるヤコビアンの特異値分布は、ヤコビアンの特別なランダムだがウェイト独立な対角行列の類似と一致し、ランダム行列理論でよく知られている。 この主張は、非常に一般的な重みとバイアスのクラス(ガウスを含む)に対して、ランダム行列理論のテクニックのバージョンを使用することで、厳密に証明された。 本稿では、ランダムなハール分布重み行列とガウスバイアスの主張を正当化するために、この手法の別のバージョンを用いる。

関連論文リスト

• Efficient conversion from fermionic Gaussian states to matrix product states [48.225436651971805]
  フェミオンガウス状態から行列積状態に変換する高効率なアルゴリズムを提案する。 翻訳不変性のない有限サイズ系に対しては定式化できるが、無限系に適用すると特に魅力的になる。 この手法のポテンシャルは、2つのキラルスピン液体の数値計算によって示される。
  論文  参考訳（メタデータ） (2024-08-02T10:15:26Z)
• A class of 2 X 2 correlated random-matrix models with Brody spacing distribution [0.0]
  ブロディ分布を固有値間隔分布とする 2 X 2 乱行列モデルのクラスを導入する。 ここで導入されたランダム行列は、ガウス直交アンサンブル(GOE)の3つの重要な方法で異なる。
  論文  参考訳（メタデータ） (2023-08-03T03:11:54Z)
• An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings [21.727073594338297]
  この研究は、機械学習と統計学の応用によって動機付けられている。 スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。 我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
  論文  参考訳（メタデータ） (2022-05-12T18:50:21Z)
• Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices [2.352645870795664]
  本稿では,高次元共分散行列の空間上でのリーマン・ガウス分布に関連する正規化因子の計算方法が存在しないことを示す。 この欠落法は、ランダム行列理論との予期せぬ新しい関係から来ていることが示されている。 シミュレーション実験により、この新たな近似が現実のデータセットへの応用を妨げる困難を解き放つ方法が示されている。
  論文  参考訳（メタデータ） (2022-03-01T03:16:50Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case [0.0]
  本研究では, ニューラルネットワーク解析に係わる無作為行列の積の特異値分布について検討した。 我々は、[22] の結果を一般化するために、[22] の確率行列理論のテクニックの、より簡潔な別のバージョンを使用します。
  論文  参考訳（メタデータ） (2020-11-20T14:39:24Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)
• On Random Matrices Arising in Deep Neural Networks. Gaussian Case [1.6244541005112747]
  本稿では,深部ニューラルネットワークの解析において生じるランダム行列の積の特異値の分布を扱う。 この問題は、近年の研究では、自由確率論の技術を用いて検討されている。
  論文  参考訳（メタデータ） (2020-01-17T08:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。