論文の概要: On Random Matrices Arising in Deep Neural Networks. Gaussian Case

• arxiv url: http://arxiv.org/abs/2001.06188v2
• Date: Tue, 7 Apr 2020 15:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 13:04:48.912730
• Title: On Random Matrices Arising in Deep Neural Networks. Gaussian Case
• Title（参考訳）: 深部ニューラルネットワークにおけるランダム行列について ガウスのケース
• Authors: Leonid Pastur
• Abstract要約: 本稿では,深部ニューラルネットワークの解析において生じるランダム行列の積の特異値の分布を扱う。 この問題は、近年の研究では、自由確率論の技術を用いて検討されている。
• 参考スコア（独自算出の注目度）: 1.6244541005112747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper deals with distribution of singular values of product of random matrices arising in the analysis of deep neural networks. The matrices resemble the product analogs of the sample covariance matrices, however, an important difference is that the population covariance matrices, which are assumed to be non-random in the standard setting of statistics and random matrix theory, are now random, moreover, are certain functions of random data matrices. The problem has been considered in recent work [21] by using the techniques of free probability theory. Since, however, free probability theory deals with population matrices which are independent of the data matrices, its applicability in this case requires an additional justification. We present this justification by using a version of the standard techniques of random matrix theory under the assumption that the entries of data matrices are independent Gaussian random variables. In the subsequent paper [18] we extend our results to the case where the entries of data matrices are just independent identically distributed random variables with several finite moments. This, in particular, extends the property of the so-called macroscopic universality on the considered random matrices.
• Abstract（参考訳）: 本稿では,深部ニューラルネットワークの解析において生じるランダム行列の積の特異値の分布を扱う。 行列はサンプル共分散行列の積類似物に似ているが、重要な違いは、統計とランダム行列理論の標準設定において非ランダムであると仮定される集団共分散行列は、さらにランダムなデータ行列の特定の関数である。 この問題は近年の研究[21]では自由確率論の技術を用いて検討されている。 しかしながら、自由確率理論はデータ行列とは独立な集団行列を扱うので、この場合の適用性は追加の正当化を必要とする。 本稿では、データ行列のエントリが独立なガウス確率変数であるという仮定の下で、ランダム行列理論の標準手法のバージョンを用いて、これを正当化する。 続く論文[18]では、データ行列のエントリが、複数の有限モーメントを持つ独立に分布する確率変数である場合まで、結果を拡張します。 これは特に、見なされるランダム行列上のいわゆるマクロ普遍性の性質を拡張するものである。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• A class of 2 X 2 correlated random-matrix models with Brody spacing distribution [0.0]
  ブロディ分布を固有値間隔分布とする 2 X 2 乱行列モデルのクラスを導入する。 ここで導入されたランダム行列は、ガウス直交アンサンブル(GOE)の3つの重要な方法で異なる。
  論文  参考訳（メタデータ） (2023-08-03T03:11:54Z)
• On confidence intervals for precision matrices and the eigendecomposition of covariance matrices [20.20416580970697]
  本稿では,固定次元の共分散行列の固有ベクトルの個々のエントリに対する信頼性境界の計算に挑戦する。 逆共分散行列、いわゆる精度行列の成分を束縛する手法を導出する。 これらの結果の応用として,精度行列の非ゼロ値のテストを可能にする新しい統計テストを示す。
  論文  参考訳（メタデータ） (2022-08-25T10:12:53Z)
• Riemannian statistics meets random matrix theory: towards learning from high-dimensional covariance matrices [2.352645870795664]
  本稿では,高次元共分散行列の空間上でのリーマン・ガウス分布に関連する正規化因子の計算方法が存在しないことを示す。 この欠落法は、ランダム行列理論との予期せぬ新しい関係から来ていることが示されている。 シミュレーション実験により、この新たな近似が現実のデータセットへの応用を妨げる困難を解き放つ方法が示されている。
  論文  参考訳（メタデータ） (2022-03-01T03:16:50Z)
• Eigenvalue Distribution of Large Random Matrices Arising in Deep Neural Networks: Orthogonal Case [1.6244541005112747]
  本論文は, 入力出力ヤコビアンの無限幅限界における入力出力ヤコビアンの特異値の分布を取り扱う。 これらの場合、無限幅の極限におけるヤコビアンの特異値分布は、特別なランダムだがウェイト独立な対角行列を持つヤコビアンの類似値と一致すると主張された。
  論文  参考訳（メタデータ） (2022-01-12T16:33:47Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• Robust 1-bit Compressive Sensing with Partial Gaussian Circulant Matrices and Generative Priors [54.936314353063494]
  我々は,ロバストな1ビット圧縮センシングのための相関に基づく最適化アルゴリズムのリカバリ保証を提供する。 我々は,実用的な反復アルゴリズムを用いて,画像データセットの数値実験を行い,結果の相関付けを行う。
  論文  参考訳（メタデータ） (2021-08-08T05:28:06Z)
• Non-PSD Matrix Sketching with Applications to Regression and Optimization [56.730993511802865]
  非PSDおよび2乗根行列の次元削減法を提案する。 複数のダウンストリームタスクにこれらのテクニックをどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-06-16T04:07:48Z)
• On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case [0.0]
  本研究では, ニューラルネットワーク解析に係わる無作為行列の積の特異値分布について検討した。 我々は、[22] の結果を一般化するために、[22] の確率行列理論のテクニックの、より簡潔な別のバージョンを使用します。
  論文  参考訳（メタデータ） (2020-11-20T14:39:24Z)
• Optimal Iterative Sketching with the Subsampled Randomized Hadamard Transform [64.90148466525754]
  最小二乗問題に対する反復スケッチの性能について検討する。 本研究では、Haar行列とランダム化されたHadamard行列の収束速度が同一であることを示し、ランダムなプロジェクションを経時的に改善することを示した。 これらの手法は、ランダム化次元還元を用いた他のアルゴリズムにも適用することができる。
  論文  参考訳（メタデータ） (2020-02-03T16:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。