論文の概要: How Erd\"os and R\'enyi Win the Lottery

• arxiv url: http://arxiv.org/abs/2210.02412v1
• Date: Wed, 5 Oct 2022 17:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:46:37.549756
• Title: How Erd\"os and R\'enyi Win the Lottery
• Title（参考訳）: Erd\"osとR\'enyiの勝利
• Authors: Advait Gadhikar, Sohum Mukherjee and Rebekka Burkholz
• Abstract要約: Erd"os-R'enyiランダムグラフは、しばしば密度の高いアーキテクチャと競合する。 ランダムなERソースネットワークには強力な宝くじが含まれていることを示す。 また、強宝くじよりも過度なパラメータ化を必要とする弱い宝くじの存在を実証する。
• 参考スコア（独自算出の注目度）: 6.952045528182883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Random masks define surprisingly effective sparse neural network models, as has been shown empirically. The resulting Erd\"os-R\'enyi (ER) random graphs can often compete with dense architectures and state-of-the-art lottery ticket pruning algorithms struggle to outperform them, even though the random baselines do not rely on computationally expensive pruning-training iterations but can be drawn initially without significant computational overhead. We offer a theoretical explanation of how such ER masks can approximate arbitrary target networks if they are wider by a logarithmic factor in the inverse sparsity $1 / \log(1/\text{sparsity})$. While we are the first to show theoretically and experimentally that random ER source networks contain strong lottery tickets, we also prove the existence of weak lottery tickets that require a lower degree of overparametrization than strong lottery tickets. These unusual results are based on the observation that ER masks are well trainable in practice, which we verify in experiments with varied choices of random masks. Some of these data-free choices outperform previously proposed random approaches on standard image classification benchmark datasets.
• Abstract（参考訳）: ランダムマスクは、実験的に示されたように驚くほど効果的なスパースニューラルネットワークモデルを定義する。 結果として生じる Erd\"os-R\enyi (ER) のランダムグラフは、計算コストのかかるプルーニングトレーニングのイテレーションに頼らず、計算上のオーバーヘッドを伴わずに最初に描画できるにもかかわらず、密集したアーキテクチャや最先端の抽選チケットプルーニングアルゴリズムと競合することが多い。 このようなerマスクが任意のターゲットネットワークを近似する方法の理論的説明を、逆スパルシティ 1 / \log(1/\text{sparsity})$ の対数因子によってより広い場合に提供する。 我々は,ランダムなERソースネットワークが強い宝くじを含むことを理論的,実験的に初めて示す一方で,強い宝くじよりも低い過度な過度化を必要とする弱い宝くじの存在を証明した。 これらの異常な結果は、ERマスクが実際に十分に訓練可能であるという観察に基づいており、ランダムマスクの様々な選択による実験で検証する。 これらのデータフリーな選択は、標準画像分類ベンチマークデータセットのランダムアプローチよりも優れている。

関連論文リスト

• Random Search as a Baseline for Sparse Neural Network Architecture Search [0.0]
  スパースニューラルネットワークは、高いパラメータ効率を保ちながら、密度の高いニューラルネットワークと同じような、あるいはより良い性能を示している。 これは、高性能なスパースネットワークを学習したり、検索したりするための多くの研究の動機となった。 本稿では,適切なスパース構成を求めるためのベースラインアルゴリズムとしてランダム検索を提案し,その性能について検討する。 本研究では,このスパースアーキテクチャ探索タスクにおいて,ランダムサーチによって発見されたスパースネットワークは,ランダムサーチよりも効率よくも効率良くも収束もできないことを観察する。
  論文  参考訳（メタデータ） (2024-03-13T05:32:13Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization [0.0]
  推測法は、難易度のあるシミュレーターモデルに対する後部近似を導出する。 多くの研究は、難易度または後部に直接近似するようにニューラルネットワークを訓練した。 本稿では,スコーリングルールの最小化によって訓練された生成ネットワークに後部を近似することを提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:32:55Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Artificial Neural Networks generated by Low Discrepancy Sequences [59.51653996175648]
  我々は、高密度ネットワークグラフ上のランダムウォーキングとして、人工ニューラルネットワークを生成する。 このようなネットワークはスクラッチからスパースを訓練することができ、高密度ネットワークをトレーニングし、その後圧縮する高価な手順を避けることができる。 我々は,低差分シーケンスで生成された人工ニューラルネットワークが,より低い計算複雑性で,密度の高いニューラルネットワークの到達範囲内で精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2021-03-05T08:45:43Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。