論文の概要: Random matrix analysis of deep neural network weight matrices

• arxiv url: http://arxiv.org/abs/2203.14661v1
• Date: Mon, 28 Mar 2022 11:22:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:45:03.472208
• Title: Random matrix analysis of deep neural network weight matrices
• Title（参考訳）: 深部ニューラルネットワーク重み行列のランダム行列解析
• Authors: Matthias Thamm, Max Staats, Bernd Rosenow
• Abstract要約: ランダム行列理論(RMT)を用いた訓練深層ニューラルネットワークの重み行列について検討する。 特異値の大半の統計は普遍的なRTT予測に従うことを示す。 これは、それらはランダムであり、システム固有の情報を含んでいないことを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks have been used successfully in a variety of fields, which has led to a great deal of interest in developing a theoretical understanding of how they store the information needed to perform a particular task. We study the weight matrices of trained deep neural networks using methods from random matrix theory (RMT) and show that the statistics of most of the singular values follow universal RMT predictions. This suggests that they are random and do not contain system specific information, which we investigate further by comparing the statistics of eigenvector entries to the universal Porter-Thomas distribution. We find that for most eigenvectors the hypothesis of randomness cannot be rejected, and that only eigenvectors belonging to the largest singular values deviate from the RMT prediction, indicating that they may encode learned information. We analyze the spectral distribution of such large singular values using the Hill estimator and find that the distribution cannot be characterized by a tail index, i.e. is not of power law type.
• Abstract（参考訳）: ニューラルネットワークはさまざまな分野でうまく使われているため、特定のタスクを実行するために必要な情報を格納する方法に関する理論的理解を開発することに多くの関心が寄せられている。 ランダム行列理論 (rmt) の手法を用いて訓練された深層ニューラルネットワークの重み行列を研究し, 特異値の統計は普遍的rmt予測に従うことを示した。 このことは,固有ベクトルエントリの統計をユニバーサル・ポーター・トーマス分布と比較することにより,ランダムであり,システム固有の情報を含まないことを示唆する。 ほとんどの固有ベクトルでは、ランダム性仮説は否定できず、最大の特異値に属する固有ベクトルだけがrmt予測から逸脱し、それらが学習情報をエンコードできることを示している。 本研究では,そのような大きな特異値のスペクトル分布をヒル推定器を用いて解析し,その分布が尾指数で特徴づけられないこと,すなわちパワーロー型ではないことを発見した。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Nonlinear spiked covariance matrices and signal propagation in deep neural networks [22.84097371842279]
  フィードフォワードニューラルネットワークの非線形特徴写像によって定義される共役カーネルの固有値スペクトルについて検討する。 本研究では,これらの信号固有値と固有ベクトルをスパイク共分散モデルの非線形バージョンとして特徴付ける。 また、重み行列が訓練中にランク1信号成分を発達させる単純な表現学習方式についても検討する。
  論文  参考訳（メタデータ） (2024-02-15T17:31:19Z)
• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• When Random Tensors meet Random Matrices [50.568841545067144]
  本稿では,ガウス雑音を伴う非対称次数-$d$スパイクテンソルモデルについて検討する。 検討したモデルの解析は、等価なスパイクされた対称テクシットブロック-ワイドランダム行列の解析に起因していることを示す。
  論文  参考訳（メタデータ） (2021-12-23T04:05:01Z)
• On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
  GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
  論文  参考訳（メタデータ） (2021-10-21T06:10:38Z)
• Geometry and Generalization: Eigenvalues as predictors of where a network will fail to generalize [0.30586855806896046]
  トレーニングされた重み行列のジャコビアンを用いて、トレーニングされたオートエンコーダによる入力空間の変形について検討する。 これは、新しい入力を一般化するオートエンコーダの能力をテストするためのデータセットに依存しない手段である。
  論文  参考訳（メタデータ） (2021-07-13T21:03:42Z)
• Minimax Estimation of Linear Functions of Eigenvectors in the Face of Small Eigen-Gaps [95.62172085878132]
  固有ベクトル摂動解析は様々な統計データ科学の応用において重要な役割を果たす。 未知の固有ベクトルの任意の線型関数の摂動を特徴付ける統計理論の一組を開発する。 自然の「プラグイン」推定器に固有の非無視バイアス問題を緩和するために,非バイアス推定器を開発する。
  論文  参考訳（メタデータ） (2021-04-07T17:55:10Z)
• A simpler spectral approach for clustering in directed networks [1.52292571922932]
  隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。 広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-02-05T14:16:45Z)
• On Random Matrices Arising in Deep Neural Networks: General I.I.D. Case [0.0]
  本研究では, ニューラルネットワーク解析に係わる無作為行列の積の特異値分布について検討した。 我々は、[22] の結果を一般化するために、[22] の確率行列理論のテクニックの、より簡潔な別のバージョンを使用します。
  論文  参考訳（メタデータ） (2020-11-20T14:39:24Z)
• On Random Matrices Arising in Deep Neural Networks. Gaussian Case [1.6244541005112747]
  本稿では,深部ニューラルネットワークの解析において生じるランダム行列の積の特異値の分布を扱う。 この問題は、近年の研究では、自由確率論の技術を用いて検討されている。
  論文  参考訳（メタデータ） (2020-01-17T08:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。