Fugu-MT 論文翻訳(概要): RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks

論文の概要: RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks

arxiv url: http://arxiv.org/abs/2005.05955v1
Date: Tue, 12 May 2020 17:55:16 GMT
ステータス: 処理完了
システム内更新日: 2022-12-03 18:34:17.038945
Title: RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Networks
Title（参考訳）: RSO: ディープニューラルネットワークのトレーニングのための勾配自由サンプリングに基づくアプローチ
Authors: Rohun Tripathi and Bharat Singh
Abstract要約: RSOは、ディープニューラルネットワークのトレーニングのためのマルコフチェインモンテカルロ探索ベースのアプローチである。 RSOは、6から10層のディープニューラルネットワークを持つMNISTとCIFAR-10データセットの分類タスクに基づいて評価される。
参考スコア（独自算出の注目度）: 10.292439652458153
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose RSO (random search optimization), a gradient free Markov Chain Monte Carlo search based approach for training deep neural networks. To this end, RSO adds a perturbation to a weight in a deep neural network and tests if it reduces the loss on a mini-batch. If this reduces the loss, the weight is updated, otherwise the existing weight is retained. Surprisingly, we find that repeating this process a few times for each weight is sufficient to train a deep neural network. The number of weight updates for RSO is an order of magnitude lesser when compared to backpropagation with SGD. RSO can make aggressive weight updates in each step as there is no concept of learning rate. The weight update step for individual layers is also not coupled with the magnitude of the loss. RSO is evaluated on classification tasks on MNIST and CIFAR-10 datasets with deep neural networks of 6 to 10 layers where it achieves an accuracy of 99.1% and 81.8% respectively. We also find that after updating the weights just 5 times, the algorithm obtains a classification accuracy of 98% on MNIST.
Abstract（参考訳）: 本稿では,勾配自由マルコフ連鎖モンテカルロ探索に基づく深層ニューラルネットワークの学習手法であるrso(random search optimization)を提案する。この目的のために、RSOはディープニューラルネットワークの重みに摂動を加え、ミニバッチの損失を減らすかどうかをテストする。これが損失を減らす場合、重量は更新され、そうでなければ既存の重量は維持される。驚くべきことに、このプロセスを各重量に対して数回繰り返すことは、ディープニューラルネットワークをトレーニングするのに十分である。 RSOの重み更新数は、SGDのバックプロパゲーションに比べて桁違いに少ない。 RSOは学習率の概念がないため、各ステップで積極的な重み更新を行うことができる。個々のレイヤに対する重み更新ステップも、損失の大きさと結合されない。 RSOは6から10層のディープニューラルネットワークを持つMNISTデータセットとCIFAR-10データセットの分類タスクに基づいて評価され、それぞれ99.1%と81.8%の精度を達成する。また,重みをわずか5倍に更新すると,mnistの98%の分類精度が得られることがわかった。

関連論文リスト

Weights Augmentation: it has never ever ever ever let her model down [1.5020330976600735]
本稿では,重量増大の概念を,重量探査に焦点をあてて提案する。ウェイト増強戦略(Weight Augmentation Strategy, WAS)とは、損失関数の計算に使用できるネットワークに対して、ランダムに変換されたウェイト係数のトレーニングと変換を行う手法である。我々の実験結果は、VGG-16、ResNet-18、ResNet-34、GoogleNet、MobilementV2、Efficientment-Liteといった畳み込みニューラルネットワークが、ほとんど、あるいは全くコストがかからないことを示しています。
論文参考訳（メタデータ） (2024-05-30T00:57:06Z)
Improved Generalization of Weight Space Networks via Augmentations [53.87011906358727]
深度重み空間(DWS)における学習は新たな研究方向であり、2次元および3次元神経場(INRs, NeRFs)への応用我々は、この過度な適合の理由を実証的に分析し、主要な理由は、DWSデータセットの多様性の欠如であることがわかった。そこで本研究では,重み空間におけるデータ拡張戦略について検討し,重み空間に適応したMixUp法を提案する。
論文参考訳（メタデータ） (2024-02-06T15:34:44Z)
Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
論文参考訳（メタデータ） (2023-12-17T02:31:20Z)
Weight Compander: A Simple Weight Reparameterization for Regularization [5.744133015573047]
我々は、ディープニューラルネットワークの一般化を改善するための新しい効果的な方法であるウェイトコンパンダを導入する。標準正規化法に加えて重みコンパンダを用いることで,ニューラルネットワークの性能が向上することを示す。
論文参考訳（メタデータ） (2023-06-29T14:52:04Z)
InRank: Incremental Low-Rank Learning [85.6380047359139]
勾配に基づくトレーニングは、トレーニング中のランクの段階的な増加を通じて、ニューラルネットワークを低ランクのソリューションに向けて暗黙的に正規化する。既存のトレーニングアルゴリズムでは、計算効率を向上させるために、ローランクな特性を活用できない。 InRank(Incremental Low-Rank Learning)は,低ランク行列として累積重み更新を明示的に表現する学習アルゴリズムである。
論文参考訳（メタデータ） (2023-06-20T03:03:04Z)
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文参考訳（メタデータ） (2023-03-07T18:59:38Z)
WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文参考訳（メタデータ） (2022-08-11T07:13:59Z)
Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
論文参考訳（メタデータ） (2021-06-26T00:32:17Z)
Neural networks with late-phase weights [66.72777753269658]
学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
論文参考訳（メタデータ） (2020-07-25T13:23:37Z)
RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文参考訳（メタデータ） (2020-07-07T11:27:43Z)
Training highly effective connectivities within neural networks with randomly initialized, fixed weights [4.56877715768796]
重みの符号を反転させてネットワークを訓練する新しい方法を提案する。重みが一定等級であっても、高非対称分布から重みが引き出される場合でも良い結果が得られる。
論文参考訳（メタデータ） (2020-06-30T09:41:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。