論文の概要: Beyond Random Matrix Theory for Deep Networks

• arxiv url: http://arxiv.org/abs/2006.07721v2
• Date: Wed, 3 Nov 2021 14:10:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 20:52:04.525285
• Title: Beyond Random Matrix Theory for Deep Networks
• Title（参考訳）: 深部ネットワークのランダム行列理論を超えて
• Authors: Diego Granziol
• Abstract要約: Wigner semi-circle と Marcenko-Pastur の分布は、しばしばディープニューラルネットワーク理論解析に使用されるが、経験的に観察されたスペクトル密度と一致するかを検討する。 観測されたスペクトル形状は, 外れ値が許容される場合でも, 理論的な予測から大きく逸脱することがわかった。 行列アンサンブルの新しいクラスとして、ランダムなウィグナー/ウィッシュアートアンサンブル生成物とパーコレーションされたウィグナー/ウィッシュアートアンサンブルを考える。
• 参考スコア（独自算出の注目度）: 0.7614628596146599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate whether the Wigner semi-circle and Marcenko-Pastur distributions, often used for deep neural network theoretical analysis, match empirically observed spectral densities. We find that even allowing for outliers, the observed spectral shapes strongly deviate from such theoretical predictions. This raises major questions about the usefulness of these models in deep learning. We further show that theoretical results, such as the layered nature of critical points, are strongly dependent on the use of the exact form of these limiting spectral densities. We consider two new classes of matrix ensembles; random Wigner/Wishart ensemble products and percolated Wigner/Wishart ensembles, both of which better match observed spectra. They also give large discrete spectral peaks at the origin, providing a theoretical explanation for the observation that various optima can be connected by one dimensional of low loss values. We further show that, in the case of a random matrix product, the weight of the discrete spectral component at $0$ depends on the ratio of the dimensions of the weight matrices.
• Abstract（参考訳）: 深部ニューラルネットワーク理論解析によく用いられるWigner半円とMarcenko-Pastur分布が、経験的に観察されたスペクトル密度と一致するかどうかを調べた。 観測されたスペクトル形状は, 外れ値が許容される場合でも, 理論的な予測から大きく逸脱することがわかった。 これはディープラーニングにおけるこれらのモデルの有用性に関する大きな疑問を提起する。 さらに、臨界点の層状性質のような理論的結果は、これらの制限スペクトル密度の正確な形の使用に強く依存していることを示す。 ランダムウィグナー/ウィッシュアートアンサンブルとパーコレーションされたウィグナー/ウィッシュアートアンサンブルの2つの新しいクラスを検討した。 彼らはまた、起源において大きな離散スペクトルピークを与え、様々な最適値が低損失値の1次元で接続できるという観察の理論的な説明を与える。 さらに, ランダム行列積の場合, 0$の離散スペクトル成分の重みは, 重み行列の次元比に依存することを示した。

関連論文リスト

• Coupled unidirectional chaotic microwave graphs [0.0]
  本研究では、2つの結合した有向半身の内部構造を持つ非指向性オープンマイクロ波ネットワークである$Gammaの吸収について検討する。 ネットワークの2ポート散乱行列である$Gamma$を測定し、ネットワークのスペクトル統計と弾性増強係数を評価する。
  論文  参考訳（メタデータ） (2024-09-05T13:00:25Z)
• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
  スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。 本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
  論文  参考訳（メタデータ） (2024-01-28T08:12:00Z)
• Quantum tomography of helicity states for general scattering processes [55.2480439325792]
  量子トモグラフィーは、物理学における量子系の密度行列$rho$を計算するのに欠かせない道具となっている。 一般散乱過程におけるヘリシティ量子初期状態の再構成に関する理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-10-16T21:23:42Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Heavy-Tailed Regularization of Weight Matrices in Deep Neural Networks [8.30897399932868]
  鍵となる発見は、ニューラルネットワークの一般化性能が、その重み行列のスペクトルにおける重みの程度と関連していることを示している。 重み付き正則化と呼ばれる新しい正則化手法を導入し、正則化により重み付きスペクトルを明示的に促進する。 重み付き正規化が一般化性能の点で従来の正規化技術より優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-04-06T07:50:14Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Leave-one-out Singular Subspace Perturbation Analysis for Spectral Clustering [7.342677574855651]
  特異部分空間摂動理論は確率と統計において基本的な重要性を持つ。 2つの任意の行列を考え、一方はもう一方の行列の1カラムアウト部分行列である。 混合モデルに適しており、ウェディンの定理のような古典的な摂動境界よりも鋭く、より詳細な統計解析をもたらす。
  論文  参考訳（メタデータ） (2022-05-30T05:07:09Z)
• Spectral embedding and the latent geometry of multipartite networks [67.56499794542228]
  多くのネットワークはマルチパーティションであり、ノードはパーティションに分割され、同じパーティションのノードは接続されない。 本稿では,高次元空間の分割特異的な低次元部分空間近傍のスペクトル埋め込みにより得られるノード表現について述べる。 スペクトル埋め込み後の追従ステップとして,周辺次元ではなく固有次元のノード表現を復元する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T15:52:03Z)
• Implicit Data-Driven Regularization in Deep Neural Networks under SGD [0.0]
  訓練されたディープニューラルネットワーク(DNN)に関与する大きなランダム行列のスペクトル解析 これらのスペクトルは、Marvcenko-Pasturスペクトル(MP)、Marvcenko-Pasturスペクトル(MPB)、Heav tailed spectrum(HT)の3種類に分類される。
  論文  参考訳（メタデータ） (2021-11-26T06:36:16Z)
• Spectral learning of multivariate extremes [0.0]
  多変量極度の依存構造を解析するためのスペクトルクラスタリングアルゴリズムを提案する。 本研究は,極端サンプルから構築したランダムな$k-アネレスト近傍グラフに基づくスペクトルクラスタリングの理論的性能について検討した。 角測度を学習するための簡易な一貫した推定手法を提案する。
  論文  参考訳（メタデータ） (2021-11-15T14:33:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。