論文の概要: On the Neural Tangent Kernel Analysis of Randomly Pruned Wide Neural Networks

• arxiv url: http://arxiv.org/abs/2203.14328v1
• Date: Sun, 27 Mar 2022 15:22:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 16:02:39.649656
• Title: On the Neural Tangent Kernel Analysis of Randomly Pruned Wide Neural Networks
• Title（参考訳）: ランダムに刈り取られた広帯域ニューラルネットワークの神経接核解析について
• Authors: Hongru Yang, Zhangyang Wang
• Abstract要約: ネットワークがランダムに切断されたとき、完全に接続されたニューラルネットワークでは、切断されたニューラルネットワークの経験的NTKが元のネットワークのものと収束することを示す。 我々は、MNISTとCIFAR-10の画像分類により、異なるアーキテクチャにわたるランダムプルーニングを評価することにより、我々の理論をさらに検証する。
• 参考スコア（独自算出の注目度）: 91.3755431537592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the behavior of ultra-wide neural networks when their weights are randomly pruned at the initialization, through the lens of neural tangent kernels (NTKs). We show that for fully-connected neural networks when the network is pruned randomly at the initialization, as the width of each layer grows to infinity, the empirical NTK of the pruned neural network converges to that of the original (unpruned) network with some extra scaling factor. Further, if we apply some appropriate scaling after pruning at the initialization, the empirical NTK of the pruned network converges to the exact NTK of the original network, and we provide a non-asymptotic bound on the approximation error in terms of pruning probability. Moreover, when we apply our result to an unpruned network (i.e., we set the probability of pruning a given weight to be zero), our analysis is optimal up to a logarithmic factor in width compared with the result in \cite{arora2019exact}. We conduct experiments to validate our theoretical results. We further test our theory by evaluating random pruning across different architectures via image classification on MNIST and CIFAR-10 and compare its performance with other pruning strategies.
• Abstract（参考訳）: 我々は,超広義のニューラルネットワークの初期化時に,神経タンジェントカーネル(NTK)のレンズを用いて,その重みをランダムに刈り取る場合の挙動について検討した。 ネットワークの初期化時にネットワークがランダムに切断された場合、各層の幅が無限大になるにつれて、切断されたニューラルネットワークの経験的NTKは、ある程度のスケーリング係数を持つ元の(未切断)ネットワークに収束することを示す。 さらに,初期化時にプルーニング後の適切なスケーリングを適用すると,プルーニングされたネットワークの経験的ntkが元のネットワークの正確なntkに収束し,プルーニング確率の観点から近似誤差に対する非漸近的境界を与える。 さらに,実験の結果を未発表のネットワークに適用する場合(すなわち,与えられた重みをゼロにプルーニングする確率を設定),解析は,<cite{arora2019exact} の結果と比較して,幅の対数係数に最適である。 我々は理論結果を検証する実験を行う。 さらに,mnist と cifar-10 の画像分類により異なるアーキテクチャをまたいだランダムプルーニングの評価を行い,その性能を他のプルーニング戦略と比較した。

関連論文リスト

• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• A global convergence theory for deep ReLU implicit networks via over-parameterization [26.19122384935622]
  暗黙の深層学習は近年注目を集めている。 本稿では,Rectified Linear Unit (ReLU) 活性化暗黙的ニューラルネットワークの勾配流れを解析する。
  論文  参考訳（メタデータ） (2021-10-11T23:22:50Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。