論文の概要: Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks

• arxiv url: http://arxiv.org/abs/2101.06475v1
• Date: Sat, 16 Jan 2021 16:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 06:26:42.700489
• Title: Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks
• Title（参考訳）: スロットマシン:ニューラルネットワークにおけるランダムウェイトの勝利の組み合わせを見つける
• Authors: Maxwell Mbabilla Aladago and Lorenzo Torresani
• Abstract要約: 重みが更新されない効果的なランダムネットワークの存在を示します。 我々はネットワークを「スロットマシン」と呼び、それぞれのリール(接続)が固定されたシンボル(ランダム値)を含む。 各接続にランダムな値だけを割り当てると、非常に競争力のある組み合わせが得られる。
• 参考スコア（独自算出の注目度）: 40.43730385915566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In contrast to traditional weight optimization in a continuous space, we demonstrate the existence of effective random networks whose weights are never updated. By selecting a weight among a fixed set of random values for each individual connection, our method uncovers combinations of random weights that match the performance of traditionally-trained networks of the same capacity. We refer to our networks as "slot machines" where each reel (connection) contains a fixed set of symbols (random values). Our backpropagation algorithm "spins" the reels to seek "winning" combinations, i.e., selections of random weight values that minimize the given loss. Quite surprisingly, we find that allocating just a few random values to each connection (e.g., 8 values per connection) yields highly competitive combinations despite being dramatically more constrained compared to traditionally learned weights. Moreover, finetuning these combinations often improves performance over the trained baselines. A randomly initialized VGG-19 with 8 values per connection contains a combination that achieves 90% test accuracy on CIFAR-10. Our method also achieves an impressive performance of 98.1% on MNIST for neural networks containing only random weights.
• Abstract（参考訳）: 連続空間における従来の重み最適化とは対照的に、重みが更新されない効果的なランダムネットワークの存在を実証する。 提案手法は,各接続のランダム値の固定セット間の重みを選択することで,同じ容量の従来訓練されたネットワークの性能にマッチする無作為重みの組み合わせを明らかにする。 我々はネットワークを「スロットマシン」と呼び、各リール(接続)は固定されたシンボルの集合(ランダム値)を含む。 我々のバックプロパゲーションアルゴリズムはリールを「スピン」して「勝利」の組み合わせ、すなわち与えられた損失を最小限に抑えるランダムウェイト値の選択を求める。 驚くほど驚くべきことに、各接続にランダムな値(例えば1接続あたり8値)を割り当てるだけで、従来の学習した重みよりも劇的に制限されているにもかかわらず、非常に競争力のある組み合わせが得られる。 さらに、これらの組み合わせを微調整することで、トレーニングされたベースラインのパフォーマンスが向上することが多い。 1接続あたり8値のランダム初期化VGG-19は、CIFAR-10で90%のテスト精度を達成する組み合わせを含む。 また, ランダム重みのみを含むニューラルネットワークに対するMNISTの98.1%の性能も向上した。

関連論文リスト

• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• Bit-wise Training of Neural Network Weights [4.56877715768796]
  ニューラルネットワークの重みを表す個々のビットを学習するアルゴリズムを導入する。 この方法は任意のビット深度で整数値で重みをトレーニングし、スパースネットワークを自然に発見する。 完全連結ネットワークを用いた標準的なトレーニング手法と,畳み込みネットワークや残留ネットワークの標準トレーニングと同等の性能を示す。
  論文  参考訳（メタデータ） (2022-02-19T10:46:54Z)
• Multi-Prize Lottery Ticket Hypothesis: Finding Accurate Binary Neural Networks by Pruning A Randomly Weighted Network [13.193734014710582]
  マルチプライズチケット(MPT)の検索アルゴリズムを提案し,CIFAR-10およびImageNetデータセット上で一連の実験を行うことで試験する。 当社のMTTs-1/32は、新しいバイナリウェイトネットワーク最新(SOTA)Top-1精度(CIFAR-10では94.8%、ImageNetでは74.03%)を設定するだけでなく、それぞれ1.78%と0.76%に上る。
  論文  参考訳（メタデータ） (2021-03-17T00:31:24Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
  重みの符号を反転させてネットワークを訓練する新しい方法を提案する。 重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
  論文  参考訳（メタデータ） (2020-06-30T09:41:18Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)
• RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks [23.45606380793965]
  ニューラルネットワーク重みを2進(+1/-1)および3進(+1/0/-1)値に強く量子化する手法であるランダム分割緩和(RPR)を提案する。 我々は,GoogLeNetの最先端以上の精度とResNet-18とResNet-50の競合性能を有する二進級および三進級のネットワークを実証した。
  論文  参考訳（メタデータ） (2020-01-04T15:56:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。