論文の概要: POGD: Gradient Descent with New Stochastic Rules
- arxiv url: http://arxiv.org/abs/2210.10654v1
- Date: Sat, 15 Oct 2022 12:31:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 15:03:24.757098
- Title: POGD: Gradient Descent with New Stochastic Rules
- Title(参考訳): pogd: 新しい確率規則による勾配降下
- Authors: Feihu Han, Sida Xing, Sui Yang Khoo
- Abstract要約: 本稿では,主に目標値に達するためのトレーニング速度と,局所的最小値を防止する能力に着目した。
本稿では,MNISTとcifar-10データセットを用いた畳み込みニューラルネットワーク(CNN)画像分類により実験を行った。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There introduce Particle Optimized Gradient Descent (POGD), an algorithm
based on the gradient descent but integrates the particle swarm optimization
(PSO) principle to achieve the iteration. From the experiments, this algorithm
has adaptive learning ability. The experiments in this paper mainly focus on
the training speed to reach the target value and the ability to prevent the
local minimum. The experiments in this paper are achieved by the convolutional
neural network (CNN) image classification on the MNIST and cifar-10 datasets.
- Abstract(参考訳): 粒子最適化勾配降下(pogd)は、勾配降下に基づくアルゴリズムであるが、反復を達成するために粒子群最適化(pso)の原理を統合する。
実験から,このアルゴリズムは適応学習能力を有する。
本研究の目的は,目標値に達するための訓練速度と,局所的最小化防止能力に焦点をあてることである。
本稿では,MNISTとcifar-10データセットを用いた畳み込みニューラルネットワーク(CNN)画像分類により実験を行った。
関連論文リスト
- Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Scaling Forward Gradient With Local Losses [117.22685584919756]
フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。
重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。
提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
論文 参考訳(メタデータ) (2022-10-07T03:52:27Z) - Orthogonalising gradients to speed up neural network optimisation [0.0]
ニューラルネットワークの最適化は、最適化ステップの前に勾配を直交させ、学習された表現の多様化を保証することで、スピンアップすることができる。
この手法を ImageNet と CIFAR-10 上でテストした結果,学習時間が大幅に減少し,半教師付き学習BarlowTwins の高速化が得られた。
論文 参考訳(メタデータ) (2022-02-14T21:46:07Z) - Inertial Proximal Deep Learning Alternating Minimization for Efficient
Neutral Network Training [16.165369437324266]
この研究は、有名な慣性手法であるiPDLAMによって改良されたDLAMを開発し、電流と最後の繰り返しの線形化によって点を予測する。
実世界のデータセットの数値計算結果を報告し,提案アルゴリズムの有効性を実証した。
論文 参考訳(メタデータ) (2021-01-30T16:40:08Z) - Gradient Centralization: A New Optimization Technique for Deep Neural
Networks [74.935141515523]
勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。
GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。
GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
論文 参考訳(メタデータ) (2020-04-03T10:25:00Z) - Stochastic gradient descent with random learning rate [0.0]
本稿では,一様分散ランダム学習率でニューラルネットワークを最適化することを提案する。
ランダムな学習率プロトコルを周期的および定常的なプロトコルと比較することにより、ランダムな選択は、一般に小規模学習率体系における最良の戦略であると示唆する。
我々は、MNISTデータセットとCIFAR10データセットの画像分類のための、浅い、完全に接続された、深い、畳み込みニューラルネットワークの実験を通じて、支持エビデンスを提供する。
論文 参考訳(メタデータ) (2020-03-15T21:36:46Z) - Improving the Backpropagation Algorithm with Consequentialism Weight
Updates over Mini-Batches [0.40611352512781856]
適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。
我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。
我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
論文 参考訳(メタデータ) (2020-03-11T08:45:36Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳(メタデータ) (2020-01-28T18:25:15Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。