論文の概要: Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking Neural Network

• arxiv url: http://arxiv.org/abs/2305.12148v1
• Date: Sat, 20 May 2023 09:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 00:17:31.791706
• Title: Probabilistic Modeling: Proving the Lottery Ticket Hypothesis in Spiking Neural Network
• Title（参考訳）: 確率的モデリング:スパイクニューラルネットワークにおける抽選チケット仮説の証明
• Authors: Man Yao, Yuhong Chou, Guangshe Zhao, Xiawu Zheng, Yonghong Tian, Bo Xu, Guoqi Li
• Abstract要約: Lottery Ticket hypothesis (LTH) は、ランダムにdの大きいニューラルネットワークは小さなサブネットワークを含んでいると述べている。 LTHはプルーニングネットワークのための新しいパスを開く。
• 参考スコア（独自算出の注目度）: 30.924449325020767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lottery Ticket Hypothesis (LTH) states that a randomly-initialized large neural network contains a small sub-network (i.e., winning tickets) which, when trained in isolation, can achieve comparable performance to the large network. LTH opens up a new path for network pruning. Existing proofs of LTH in Artificial Neural Networks (ANNs) are based on continuous activation functions, such as ReLU, which satisfying the Lipschitz condition. However, these theoretical methods are not applicable in Spiking Neural Networks (SNNs) due to the discontinuous of spiking function. We argue that it is possible to extend the scope of LTH by eliminating Lipschitz condition. Specifically, we propose a novel probabilistic modeling approach for spiking neurons with complicated spatio-temporal dynamics. Then we theoretically and experimentally prove that LTH holds in SNNs. According to our theorem, we conclude that pruning directly in accordance with the weight size in existing SNNs is clearly not optimal. We further design a new criterion for pruning based on our theory, which achieves better pruning results than baseline.
• Abstract（参考訳）: Lottery Ticket hypothesis (LTH) は、ランダムに初期化された大きなニューラルネットワークは小さなサブネットワーク(すなわち、優勝チケット)を含み、単独で訓練すると、大きなネットワークに匹敵する性能を達成できると述べている。 LTHは、ネットワークプルーニングのための新しいパスを開く。 ニューラルネットワーク(ANN)における既存のLTHの証明は、リプシッツ条件を満たすReLUのような連続活性化関数に基づいている。 しかし、これらの理論手法はスパイキング関数の不連続性のためにスパイキングニューラルネットワーク(SNN)には適用できない。 リプシッツ条件をなくすことで LTH の範囲を拡張することができると論じる。 具体的には,複雑な時空間ダイナミクスを持つニューロンをスパイキングする新しい確率論的モデリング手法を提案する。 そして理論的、実験的に、LTHがSNNに持つことを証明する。 我々の定理によれば、既存のSNNの重量サイズに応じてプルーニングは明らかに最適ではないと結論付けている。 さらに,本理論に基づいた刈り出しの新しい基準を考案し,ベースラインよりも優れた刈り取り結果を得る。

関連論文リスト

• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Strong Lottery Ticket Hypothesis with $\varepsilon$--perturbation [11.38723572165938]
  我々は、ロタリー・チケット仮説の理論的保証を、元のLTHとより類似したシナリオに拡張する。 ランダム初期重みに対する$varepsilon$-scale摂動を許容することにより、強いLTHにおける候補ネットワークの過剰パラメータ化要求を軽減できるだろうか? 予測されたSGDの摂動重みは,強いLTHプルーニング条件下での良好な性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-10-29T12:22:17Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。