論文の概要: Logarithmic Pruning is All You Need

• arxiv url: http://arxiv.org/abs/2006.12156v2
• Date: Sun, 25 Oct 2020 18:45:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 04:53:21.697397
• Title: Logarithmic Pruning is All You Need
• Title（参考訳）: 対数的刈り取りは 必要なだけ
• Authors: Laurent Orseau, Marcus Hutter, Omar Rivasplata
• Abstract要約: Lottery Ticket仮説(Lottery Ticket hypothesis): 大規模なニューラルネットワークには、独立したトレーニングを受けた場合、大きなネットワークに匹敵するパフォーマンスを実現するサブネットワークが含まれている。 しかし、後者の結果は多くの強い仮定に依存し、ターゲット関数と比較して大きなネットワークのサイズに影響を及ぼす。
• 参考スコア（独自算出の注目度）: 30.330326149079326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Lottery Ticket Hypothesis is a conjecture that every large neural network contains a subnetwork that, when trained in isolation, achieves comparable performance to the large network. An even stronger conjecture has been proven recently: Every sufficiently overparameterized network contains a subnetwork that, at random initialization, but without training, achieves comparable accuracy to the trained large network. This latter result, however, relies on a number of strong assumptions and guarantees a polynomial factor on the size of the large network compared to the target function. In this work, we remove the most limiting assumptions of this previous work while providing significantly tighter bounds:the overparameterized network only needs a logarithmic factor (in all variables but depth) number of neurons per weight of the target subnetwork.
• Abstract（参考訳）: 宝くじの仮説は、すべての大きなニューラルネットワークが、孤立して訓練されると、大きなネットワークに匹敵するパフォーマンスを達成するサブネットワークを含んでいるという予想である。 十分に過度にパラメータ化されたネットワークには、ランダム初期化時にトレーニングなしで訓練された大ネットワークに匹敵する精度を達成するサブネットワークが含まれている。 しかし、後者の結果はいくつかの強い仮定に依存し、対象関数と比較して大きなネットワークの大きさの多項式因子を保証する。 過パラメータネットワークは、対象のサブネットワークの重量当たりのニューロン数(すべての変数において、深さを除く)の対数係数のみを必要とする。

関連論文リスト

• Network Degeneracy as an Indicator of Training Performance: Comparing Finite and Infinite Width Angle Predictions [3.04585143845864]
  ネットワークの深層化が進むにつれ、ネットワークは縮退しやすくなっている。 完全に接続されたReLUネットワークアーキテクチャのデジェネリシーのレベルを正確に予測できる単純なアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2023-06-02T13:02:52Z)
• On the High Symmetry of Neural Network Functions [0.0]
  ニューラルネットワークを訓練することは、高次元最適化問題を解決することを意味する。 本稿では,ニューラルネットワークの設計方法から,パラメータ空間においてニューラルネットワーク関数が非常に大きな対称性を示すことを示す。
  論文  参考訳（メタデータ） (2022-11-12T07:51:14Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Finding Everything within Random Binary Networks [11.689913953698081]
  ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。 任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
  論文  参考訳（メタデータ） (2021-10-18T03:19:25Z)
• It's Hard for Neural Networks To Learn the Game of Life [4.061135251278187]
  最近の研究では、ニューラルネットワークは、ソリューションに迅速に収束する"ロテリチケット"のラッキーな初期重みに依存していることが示唆されている。 本研究では,2次元セル・オートマトン・コンウェイのゲーム・オブ・ライフのn段階を予測するために訓練された小さな畳み込みネットワークについて検討する。 このタスクでトレーニングされたこのアーキテクチャのネットワークは、ほとんど収束しない。
  論文  参考訳（メタデータ） (2020-09-03T00:47:08Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。