Fugu-MT 論文翻訳(概要): Convolutional and Residual Networks Provably Contain Lottery Tickets

論文の概要: Convolutional and Residual Networks Provably Contain Lottery Tickets

arxiv url: http://arxiv.org/abs/2205.02343v1
Date: Wed, 4 May 2022 22:20:01 GMT
ステータス: 処理完了
システム内更新日: 2022-05-07 08:03:38.881930
Title: Convolutional and Residual Networks Provably Contain Lottery Tickets
Title（参考訳）: 畳み込み・残差ネットワークは宝くじを保証できる
Authors: Rebekka Burkholz
Abstract要約: Lottery Ticket仮説は、競争力のあるパフォーマンスで現代のディープラーニングタスクを解決するディープニューラルネットワークの探求に、依然として重大な実践的影響を与えている。ほぼ任意のアクティベーション機能を備えた畳み込み層と残留層からなる現代建築でも、高い確率で宝くじを格納できることを示す。
参考スコア（独自算出の注目度）: 6.68999512375737
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The Lottery Ticket Hypothesis continues to have a profound practical impact on the quest for small scale deep neural networks that solve modern deep learning tasks at competitive performance. These lottery tickets are identified by pruning large randomly initialized neural networks with architectures that are as diverse as their applications. Yet, theoretical insights that attest their existence have been mostly focused on deep fully-connected feed forward networks with ReLU activation functions. We prove that also modern architectures consisting of convolutional and residual layers that can be equipped with almost arbitrary activation functions can contain lottery tickets with high probability.
Abstract（参考訳）: Lottery Ticket仮説は、競争力のあるパフォーマンスで現代のディープラーニングタスクを解決する、小規模のディープニューラルネットワークの探求に、依然として重大な実践的影響を与えている。これらの宝くじは、大規模なランダムに初期化されたニューラルネットワークをアプリケーションと同じくらい多様なアーキテクチャで刈り取ることで識別される。しかし、それらの存在を証明している理論的洞察は、主にReLUアクティベーション機能を備えた深い完全接続フィードフォワードネットワークに焦点を当てている。ほぼ任意のアクティベーション関数を備えた畳み込み層と残差層からなる現代的なアーキテクチャは、高い確率で抽選チケットを含むことも証明する。

関連論文リスト

Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
論文参考訳（メタデータ） (2023-11-18T17:00:40Z)
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文参考訳（メタデータ） (2023-05-11T17:19:30Z)
Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文参考訳（メタデータ） (2023-04-19T16:39:44Z)
The Multiple Subnetwork Hypothesis: Enabling Multidomain Learning by Isolating Task-Specific Subnetworks in Feedforward Neural Networks [0.0]
我々は,未使用の重み付きネットワークがその後のタスクを学習するための方法論とネットワーク表現構造を同定する。提案手法を用いてトレーニングされたネットワークは,タスクのパフォーマンスを犠牲にすることなく,あるいは破滅的な忘れを伴わずに,複数のタスクを学習できることを示す。
論文参考訳（メタデータ） (2022-07-18T15:07:13Z)
Most Activation Functions Can Win the Lottery Without Excessive Depth [6.68999512375737]
宝くじの仮説は、プルーニングによってディープニューラルネットワークをトレーニングする可能性を強調している。 ReLUアクティベーション関数を持つネットワークの場合、深さ$L$のターゲットネットワークは、ターゲットの深さが2L$で対数係数がより広いランダムニューラルネットワークのサブネットワークによって近似できることが証明されている。
論文参考訳（メタデータ） (2022-05-04T20:51:30Z)
Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文参考訳（メタデータ） (2022-03-30T21:47:32Z)
On the Existence of Universal Lottery Tickets [2.5234156040689237]
宝くじの仮説は、独立して訓練できる大きなランダムなディープニューラルネットワークのスパースワークの存在を推測する。最近の研究は、これらのチケットのいくつかが様々なタスクで実際に再利用可能であることを実験的に観察し、ある種の普遍性を示唆している。我々はこの概念を定式化し、そのような普遍的なチケットが存在するだけでなく、さらなる訓練も必要としていないことを理論的に証明する。
論文参考訳（メタデータ） (2021-11-22T12:12:00Z)
Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文参考訳（メタデータ） (2021-10-12T01:11:07Z)
Universality of Deep Neural Network Lottery Tickets: A Renormalization Group Perspective [89.19516919095904]
1つのタスクのコンテキストで見られるチケットは、おそらくは異なるアーキテクチャにわたって、同様のタスクに転送できる。我々は、理論物理学において最も成功した道具の1つである再正規化群理論を利用する。ここでは,大規模抽選チケット実験における当選チケットの普遍性を検討するとともに,スパース機械学習の分野での反復的等級プルーニングの成功に新たな光を当てる。
論文参考訳（メタデータ） (2021-10-07T06:50:16Z)
Recursive Multi-model Complementary Deep Fusion forRobust Salient Object Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文参考訳（メタデータ） (2020-08-07T10:39:11Z)
Memory capacity of neural networks with threshold and ReLU activations [2.5889737226898437]
わずかに過度にパラメータ化されたニューラルネットワークは、トレーニングデータを100%の精度で記憶することができる。この現象が一般的な多層パーセプトロンに対して成り立つことを証明している。
論文参考訳（メタデータ） (2020-01-20T01:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。