論文の概要: Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks

• arxiv url: http://arxiv.org/abs/2005.11879v3
• Date: Sat, 10 Oct 2020 16:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 05:46:07.624095
• Title: Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks
• Title（参考訳）: 線形幅ニューラルネットワークにおける共役カーネルとニューラルタンジェントカーネルのスペクトル
• Authors: Zhou Fan and Zhichao Wang
• Abstract要約: 本研究では,フィードフォワードニューラルネットワークに関連する共役ニューラルカーネルとタンジェントカーネルの固有値について検討する。 CKとNTKの固有値分布は決定論的極限に収束することを示す。
• 参考スコア（独自算出の注目度）: 22.57374777395746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the eigenvalue distributions of the Conjugate Kernel and Neural Tangent Kernel associated to multi-layer feedforward neural networks. In an asymptotic regime where network width is increasing linearly in sample size, under random initialization of the weights, and for input samples satisfying a notion of approximate pairwise orthogonality, we show that the eigenvalue distributions of the CK and NTK converge to deterministic limits. The limit for the CK is described by iterating the Marcenko-Pastur map across the hidden layers. The limit for the NTK is equivalent to that of a linear combination of the CK matrices across layers, and may be described by recursive fixed-point equations that extend this Marcenko-Pastur map. We demonstrate the agreement of these asymptotic predictions with the observed spectra for both synthetic and CIFAR-10 training data, and we perform a small simulation to investigate the evolutions of these spectra over training.
• Abstract（参考訳）: 多層フィードフォワードニューラルネットワークに関連する共役カーネルとニューラルタンジェントカーネルの固有値分布について検討する。 ネットワーク幅が標本サイズで線形に増加する漸近的状態において、重みのランダムな初期化と、近似対直交の概念を満たす入力サンプルに対して、CKとNTKの固有値分布が決定論的極限に収束することを示す。 CKの限界は、隠れた層にまたがるMarcenko-Pasturマップの反復によって説明される。 NTKの極限は層をまたいだCK行列の線形結合と等価であり、このMarcenko-Pastur写像を拡張する再帰的不動点方程式によって記述することができる。 合成データとcifar-10トレーニングデータの両方で観測されたスペクトルとの漸近予測の一致を実証し,これらのスペクトルのトレーニングによる進化を小さなシミュレーションで検証する。

関連論文リスト

• Nonlinear spiked covariance matrices and signal propagation in deep neural networks [22.84097371842279]
  フィードフォワードニューラルネットワークの非線形特徴写像によって定義される共役カーネルの固有値スペクトルについて検討する。 本研究では,これらの信号固有値と固有ベクトルをスパイク共分散モデルの非線形バージョンとして特徴付ける。 また、重み行列が訓練中にランク1信号成分を発達させる単純な表現学習方式についても検討する。
  論文  参考訳（メタデータ） (2024-02-15T17:31:19Z)
• An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
  深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。 この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。 我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
  論文  参考訳（メタデータ） (2023-12-06T09:52:18Z)
• Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs [94.44374472696272]
  グラフニューラルネットワーク(GNN)の文脈におけるNTKとアライメントについて検討する。 その結果、2層GNNのアライメントの最適性に関する理論的保証が確立された。 これらの保証は、入力と出力データの相互共分散の関数であるグラフシフト演算子によって特徴づけられる。
  論文  参考訳（メタデータ） (2023-10-16T19:54:21Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• Deterministic equivalent of the Conjugate Kernel matrix associated to Artificial Neural Networks [0.0]
  共役核の実験的スペクトル分布は決定論的極限に収束することを示す。 より正確には、次元とスペクトルパラメータの両方を含む定量的境界を持つスティルチェス変換とその分解剤の決定論的等価値を得る。
  論文  参考訳（メタデータ） (2023-06-09T12:31:59Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
  ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。 本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
  論文  参考訳（メタデータ） (2021-02-14T20:31:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。