論文の概要: Finding Everything within Random Binary Networks

• arxiv url: http://arxiv.org/abs/2110.08996v1
• Date: Mon, 18 Oct 2021 03:19:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-19 14:14:46.462271
• Title: Finding Everything within Random Binary Networks
• Title（参考訳）: ランダムバイナリネットワーク内のすべてを見つける
• Authors: Kartik Sreenivasan, Shashank Rajput, Jy-yong Sohn and Dimitris Papailiopoulos
• Abstract要約: ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。 任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
• 参考スコア（独自算出の注目度）: 11.689913953698081
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A recent work by Ramanujan et al. (2020) provides significant empirical evidence that sufficiently overparameterized, random neural networks contain untrained subnetworks that achieve state-of-the-art accuracy on several predictive tasks. A follow-up line of theoretical work provides justification of these findings by proving that slightly overparameterized neural networks, with commonly used continuous-valued random initializations can indeed be pruned to approximate any target network. In this work, we show that the amplitude of those random weights does not even matter. We prove that any target network can be approximated up to arbitrary accuracy by simply pruning a random network of binary $\{\pm1\}$ weights that is only a polylogarithmic factor wider and deeper than the target network.
• Abstract（参考訳）: ramanujan et al. (2020) による最近の研究は、十分に過小評価されたランダムニューラルネットワークには、いくつかの予測タスクで最先端の精度を達成する訓練されていないサブネットワークが含まれているという重要な実証的証拠を提供している。 理論的な研究の続行は、わずかに過度にパラメータ化されたニューラルネットワークが、一般的に使用される連続的な値のランダム初期化は、実際に任意のターゲットネットワークを近似するために切断できることを証明することによって、これらの発見を正当化する。 本研究では、これらのランダムな重みの振幅が重要でないことを示す。 任意の対象ネットワークは、対象ネットワークより広く深い多対数因子である2元$\{\pm1\}$重みのランダムネットワークを単に刈り取ることによって、任意の精度で近似可能であることが証明される。

関連論文リスト

• Trained quantum neural networks are Gaussian processes [5.439020425819001]
  パラメトリックな1量子ビットゲートと2量子ビットゲートを幅の限界で固定した量子ニューラルネットワークについて検討した。 我々は、教師付き学習問題に対して、二乗損失を伴う勾配降下によるネットワークのトレーニングを解析的に特徴付ける。 ネットワークが不毛の台地の影響を受けていない限り、トレーニングされたネットワークはトレーニングセットに完全に適合する。
  論文  参考訳（メタデータ） (2024-02-13T19:00:08Z)
• Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
  ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。 この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
  論文  参考訳（メタデータ） (2023-02-15T02:00:26Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A Probabilistic Approach to Neural Network Pruning [20.001091112545065]
  FCNとCNNの2つのプルーニング技術(ランダムおよび等級ベース)の性能について理論的に検討する。 その結果、対象ネットワークから指定された任意の境界内に、表現力を持つプルーンドネットワークが存在することが判明した。
  論文  参考訳（メタデータ） (2021-05-20T23:19:43Z)
• How Powerful are Shallow Neural Networks with Bandlimited Random Weights? [25.102870584507244]
  制限深度2バンドランダムニューラルネットワークの表現力について検討する。 ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
  論文  参考訳（メタデータ） (2020-08-19T13:26:12Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Logarithmic Pruning is All You Need [30.330326149079326]
  Lottery Ticket仮説(Lottery Ticket hypothesis): 大規模なニューラルネットワークには、独立したトレーニングを受けた場合、大きなネットワークに匹敵するパフォーマンスを実現するサブネットワークが含まれている。 しかし、後者の結果は多くの強い仮定に依存し、ターゲット関数と比較して大きなネットワークのサイズに影響を及ぼす。
  論文  参考訳（メタデータ） (2020-06-22T11:42:30Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。