論文の概要: On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case

• arxiv url: http://arxiv.org/abs/2011.11439v2
• Date: Mon, 4 Jul 2022 11:13:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 06:34:49.458448
• Title: On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case
• Title（参考訳）: 深部ニューラルネットワークにおけるランダム行列について:一般I.I.D.の場合
• Authors: L. Pastur and V. Slavin
• Abstract要約: 本研究では, ニューラルネットワーク解析に係わる無作為行列の積の特異値分布について検討した。 我々は、[22] の結果を一般化するために、[22] の確率行列理論のテクニックの、より簡潔な別のバージョンを使用します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the distribution of singular values of product of random matrices pertinent to the analysis of deep neural networks. The matrices resemble the product of the sample covariance matrices, however, an important difference is that the population covariance matrices assumed to be non-random or random but independent of the random data matrix in statistics and random matrix theory are now certain functions of random data matrices (synaptic weight matrices in the deep neural network terminology). The problem has been treated in recent work [25, 13] by using the techniques of free probability theory. Since, however, free probability theory deals with population covariance matrices which are independent of the data matrices, its applicability has to be justified. The justification has been given in [22] for Gaussian data matrices with independent entries, a standard analytical model of free probability, by using a version of the techniques of random matrix theory. In this paper we use another, more streamlined, version of the techniques of random matrix theory to generalize the results of [22] to the case where the entries of the synaptic weight matrices are just independent identically distributed random variables with zero mean and finite fourth moment. This, in particular, extends the property of the so-called macroscopic universality on the considered random matrices.
• Abstract（参考訳）: 本研究では, ニューラルネットワーク解析に係わるランダム行列の積の特異値分布について検討した。 行列はサンプル共分散行列の積に似ているが、重要な違いは、統計学やランダム行列理論におけるランダムデータ行列とは無関係であると仮定された集団共分散行列が、ランダムデータ行列(ディープニューラルネットワーク用語におけるシナプス重み行列)の特定の関数である点である。 この問題は自由確率論の手法を用いて最近の研究[25,13]で扱われている。 しかし、自由確率理論はデータ行列とは独立な集団共分散行列を扱うので、その適用性は正当化する必要がある。 この正当性は、確率行列理論のテクニックのバージョンを用いて、自由確率の標準的な解析モデルである独立成分を持つガウスデータ行列に対して [22] に与えられる。 本稿では, [22] の結果を一般化するために, 確率行列理論の別の,より合理化されたバージョンを用いて, シナプス重み行列の項目が, 平均と有限の4モーメントをもたない, 独立に分散した確率変数である場合に適用する。 これは特に、見なされるランダム行列上のいわゆるマクロ普遍性の性質を拡張するものである。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• On confidence intervals for precision matrices and the eigendecomposition of covariance matrices [20.20416580970697]
  本稿では,固定次元の共分散行列の固有ベクトルの個々のエントリに対する信頼性境界の計算に挑戦する。 逆共分散行列、いわゆる精度行列の成分を束縛する手法を導出する。 これらの結果の応用として,精度行列の非ゼロ値のテストを可能にする新しい統計テストを示す。
  論文  参考訳（メタデータ） (2022-08-25T10:12:53Z)
• An Equivalence Principle for the Spectrum of Random Inner-Product Kernel Matrices with Polynomial Scalings [21.727073594338297]
  この研究は、機械学習と統計学の応用によって動機付けられている。 スケーリングシステムにおいて,これらのランダム行列の経験的分布の弱い限界を確立する。 我々の結果は、マルテンコ・パストゥル法と半円法の間の自由加法的畳み込みとして特徴づけられる。
  論文  参考訳（メタデータ） (2022-05-12T18:50:21Z)
• Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices [2.352645870795664]
  本稿では,高次元共分散行列の空間上でのリーマン・ガウス分布に関連する正規化因子の計算方法が存在しないことを示す。 この欠落法は、ランダム行列理論との予期せぬ新しい関係から来ていることが示されている。 シミュレーション実験により、この新たな近似が現実のデータセットへの応用を妨げる困難を解き放つ方法が示されている。
  論文  参考訳（メタデータ） (2022-03-01T03:16:50Z)
• Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural Networks: Orthogonal Case [1.6244541005112747]
  本論文は, 入力出力ヤコビアンの無限幅限界における入力出力ヤコビアンの特異値の分布を取り扱う。 これらの場合、無限幅の極限におけるヤコビアンの特異値分布は、特別なランダムだがウェイト独立な対角行列を持つヤコビアンの類似値と一致すると主張された。
  論文  参考訳（メタデータ） (2022-01-12T16:33:47Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)
• On Random Matrices Arising in Deep Neural Networks. Gaussian Case [1.6244541005112747]
  本稿では,深部ニューラルネットワークの解析において生じるランダム行列の積の特異値の分布を扱う。 この問題は、近年の研究では、自由確率論の技術を用いて検討されている。
  論文  参考訳（メタデータ） (2020-01-17T08:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。