論文の概要: Proving the Lottery Ticket Hypothesis: Pruning is All You Need

• arxiv url: http://arxiv.org/abs/2002.00585v1
• Date: Mon, 3 Feb 2020 07:23:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 08:22:30.943892
• Title: Proving the Lottery Ticket Hypothesis: Pruning is All You Need
• Title（参考訳）: 欲しがるチケット仮説の証明:プルーニングは必要なだけ
• Authors: Eran Malach, Gilad Yehudai, Shai Shalev-Shwartz, Ohad Shamir
• Abstract要約: 抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
• 参考スコア（独自算出の注目度）: 56.25432563818297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The lottery ticket hypothesis (Frankle and Carbin, 2018), states that a randomly-initialized network contains a small subnetwork such that, when trained in isolation, can compete with the performance of the original network. We prove an even stronger hypothesis (as was also conjectured in Ramanujan et al., 2019), showing that for every bounded distribution and every target network with bounded weights, a sufficiently over-parameterized neural network with random weights contains a subnetwork with roughly the same accuracy as the target network, without any further training.
• Abstract（参考訳）: 抽選券仮説 (Frankle and Carbin, 2018) は、ランダムに初期化されたネットワークには、独立した訓練を受けた場合、元のネットワークのパフォーマンスと競合する小さなサブネットワークが含まれていると述べている。 さらに強い仮説(Ramanujan et al., 2019で予想されたように)を証明し、全ての有界分布と有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過パラメータ化されたニューラルネットワークは、さらにトレーニングすることなく、ターゲットネットワークとほぼ同じ精度のサブネットワークを含んでいることを示した。

関連論文リスト

• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Finding Everything within Random Binary Networks [11.689913953698081]
  ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。 任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
  論文  参考訳（メタデータ） (2021-10-18T03:19:25Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Logarithmic Pruning is All You Need [30.330326149079326]
  Lottery Ticket仮説(Lottery Ticket hypothesis): 大規模なニューラルネットワークには、独立したトレーニングを受けた場合、大きなネットワークに匹敵するパフォーマンスを実現するサブネットワークが含まれている。 しかし、後者の結果は多くの強い仮定に依存し、ターゲット関数と比較して大きなネットワークのサイズに影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-22T11:42:30Z)
• How many winning tickets are there in one DNN? [18.679152306439832]
  各ネットワークには,初期重みが固定された場合でも,複数の入賞チケットが含まれていることを示す。 結果として得られる勝利するサブネットワークは、重み空間対称性の下で同じネットワークのインスタンスではない。 我々は,有能なサブネットワークに対して,単独の当選チケットとは対照的に,むしろ分布が存在すると結論づける。
  論文  参考訳（メタデータ） (2020-06-12T08:58:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。