論文の概要: Nonlinear spiked covariance matrices and signal propagation in deep neural networks

• arxiv url: http://arxiv.org/abs/2402.10127v1
• Date: Thu, 15 Feb 2024 17:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 14:33:36.309648
• Title: Nonlinear spiked covariance matrices and signal propagation in deep neural networks
• Title（参考訳）: ディープニューラルネットワークにおける非線形スパイク共分散行列と信号伝搬
• Authors: Zhichao Wang, Denny Wu, Zhou Fan
• Abstract要約: フィードフォワードニューラルネットワークの非線形特徴写像によって定義される共役カーネルの固有値スペクトルについて検討する。 本研究では,これらの信号固有値と固有ベクトルをスパイク共分散モデルの非線形バージョンとして特徴付ける。 また、重み行列が訓練中にランク1信号成分を発達させる単純な表現学習方式についても検討する。
• 参考スコア（独自算出の注目度）: 22.84097371842279
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent works have studied the eigenvalue spectrum of the Conjugate Kernel (CK) defined by the nonlinear feature map of a feedforward neural network. However, existing results only establish weak convergence of the empirical eigenvalue distribution, and fall short of providing precise quantitative characterizations of the ''spike'' eigenvalues and eigenvectors that often capture the low-dimensional signal structure of the learning problem. In this work, we characterize these signal eigenvalues and eigenvectors for a nonlinear version of the spiked covariance model, including the CK as a special case. Using this general result, we give a quantitative description of how spiked eigenstructure in the input data propagates through the hidden layers of a neural network with random weights. As a second application, we study a simple regime of representation learning where the weight matrix develops a rank-one signal component over training and characterize the alignment of the target function with the spike eigenvector of the CK on test data.
• Abstract（参考訳）: 多くの最近の研究は、フィードフォワードニューラルネットワークの非線形特徴写像によって定義される共役核(CK)の固有値スペクトルを研究している。 しかし、既存の結果は経験的固有値分布の弱い収束のみを確立し、学習問題の低次元信号構造をしばしば捉える「スパイク」固有値と固有ベクトルの正確な量的特徴付けを提供していない。 本研究では,ckを特別に含むスパイク共分散モデルの非線形バージョンに対して,これらの信号固有値と固有ベクトルを特徴付ける。 この一般的な結果を用いて,入力データのスパイク固有構造がランダム重み付きニューラルネットワークの隠れた層を伝搬する様子を定量的に記述する。 第2の応用として、重み行列が訓練中にランク1信号成分を発達させ、テストデータ上でCKのスパイク固有ベクトルとターゲット関数のアライメントを特徴付ける単純な表現学習方式を提案する。

関連論文リスト

• Generalization for Least Squares Regression With Simple Spiked Covariances [3.9134031118910264]
  勾配降下によって訓練された2層ニューラルネットワークの一般化特性はいまだよく分かっていない。 最近の研究は、隠れた層における特徴行列のスペクトルを記述することで進展した。 しかし、スパイク共分散を持つ線形モデルの一般化誤差は以前には決定されていない。
  論文  参考訳（メタデータ） (2024-10-17T19:46:51Z)
• Improving Expressive Power of Spectral Graph Neural Networks with Eigenvalue Correction [55.57072563835959]
  スペクトルグラフニューラルネットワークはフィルタによって特徴づけられる。 本稿では,繰り返し入力される固有値の制約からフィルタを解放する固有値補正手法を提案する。
  論文  参考訳（メタデータ） (2024-01-28T08:12:00Z)
• Non Commutative Convolutional Signal Models in Neural Networks: Stability to Small Deformations [111.27636893711055]
  非可換畳み込みフィルタのフィルタ特性と安定性について検討する。 この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
  論文  参考訳（メタデータ） (2023-10-05T20:27:22Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• A simpler spectral approach for clustering in directed networks [1.52292571922932]
  隣接行列の固有値/固有ベクトル分解は、すべての一般的な方法よりも単純であることを示す。 広く使われているk平均アルゴリズムよりもガウス混合クラスタリングの方が優れていることを示す数値的な証拠を提供する。
  論文  参考訳（メタデータ） (2021-02-05T14:16:45Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks [22.57374777395746]
  本研究では,フィードフォワードニューラルネットワークに関連する共役ニューラルカーネルとタンジェントカーネルの固有値について検討する。 CKとNTKの固有値分布は決定論的極限に収束することを示す。
  論文  参考訳（メタデータ） (2020-05-25T01:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。