論文の概要: Most Activation Functions Can Win the Lottery Without Excessive Depth

• arxiv url: http://arxiv.org/abs/2205.02321v1
• Date: Wed, 4 May 2022 20:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-07 10:17:55.367829
• Title: Most Activation Functions Can Win the Lottery Without Excessive Depth
• Title（参考訳）: ほとんどのアクティベーション機能は、過剰な深さなしで宝くじに勝つことができる
• Authors: Rebekka Burkholz
• Abstract要約: 宝くじの仮説は、プルーニングによってディープニューラルネットワークをトレーニングする可能性を強調している。 ReLUアクティベーション関数を持つネットワークの場合、深さ$L$のターゲットネットワークは、ターゲットの深さが2L$で対数係数がより広いランダムニューラルネットワークのサブネットワークによって近似できることが証明されている。
• 参考スコア（独自算出の注目度）: 6.68999512375737
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The strong lottery ticket hypothesis has highlighted the potential for training deep neural networks by pruning, which has inspired interesting practical and theoretical insights into how neural networks can represent functions. For networks with ReLU activation functions, it has been proven that a target network with depth $L$ can be approximated by the subnetwork of a randomly initialized neural network that has double the target's depth $2L$ and is wider by a logarithmic factor. We show that a depth $L+1$ network is sufficient. This result indicates that we can expect to find lottery tickets at realistic, commonly used depths while only requiring logarithmic overparametrization. Our novel construction approach applies to a large class of activation functions and is not limited to ReLUs.
• Abstract（参考訳）: 強力な抽選チケット仮説は、プルーニングによるディープニューラルネットワークのトレーニングの可能性を強調している。 ReLUアクティベーション関数を持つネットワークの場合、深さ$L$のターゲットネットワークは、ターゲットの深さが2L$で対数係数がより広いランダム初期化ニューラルネットワークのサブネットワークによって近似できることが証明されている。 深度$L+1$ネットワークで十分であることを示す。 この結果は,対数的過パラメータ化のみを必要としながら,現実的な,一般的に使用されている奥行きで宝くじを見つけることができることを示唆している。 我々の新しい構成手法は、活性化関数の大規模なクラスに適用され、ReLUに限らない。

関連論文リスト

• Expressivity and Approximation Properties of Deep Neural Networks with ReLU$^k$ Activation [2.3020018305241337]
  本稿では、ReLU$k$Activation Function for $k geq 2$を用いたディープネットワークの表現性と近似特性について検討する。 ディープ ReLU$k$ ネットワークは効率的に近似できるが、ディープ ReLU$k$ ネットワークは高次を正確に表現することができる。
  論文  参考訳（メタデータ） (2023-12-27T09:11:14Z)
• Optimizing Performance of Feedforward and Convolutional Neural Networks through Dynamic Activation Functions [0.46040036610482665]
  ディープラーニングトレーニングアルゴリズムは近年,音声やテキスト,画像ビデオなど,多くの分野で大きな成功を収めています。 深い層と深い層が提案され、152層ほどのresnet構造で大きな成功を収めた。 浅層畳み込みニューラルネットワーク(CNN)はまだ活発な研究であり、いくつかの現象はまだ説明されていない。
  論文  参考訳（メタデータ） (2023-08-10T17:39:51Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Convolutional and Residual Networks Provably Contain Lottery Tickets [6.68999512375737]
  Lottery Ticket仮説は、競争力のあるパフォーマンスで現代のディープラーニングタスクを解決するディープニューラルネットワークの探求に、依然として重大な実践的影響を与えている。 ほぼ任意のアクティベーション機能を備えた畳み込み層と残留層からなる現代建築でも、高い確率で宝くじを格納できることを示す。
  論文  参考訳（メタデータ） (2022-05-04T22:20:01Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Optimal Lottery Tickets via SubsetSum: Logarithmic Over-Parameterization is Sufficient [9.309655246559094]
  幅$d$と深さ$l$の任意のターゲットネットワークは、幅$O(log(dl))$の2倍、幅$O(log(dl))$のランダムネットワークを切断することで近似できることを示す。 解析は、プルーニングランダムなReLUネットワークをtextscSubset問題のランダムなインスタンスに接続することに依存する。
  論文  参考訳（メタデータ） (2020-06-14T19:32:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。