論文の概要: AdaSwarm: Augmenting Gradient-Based optimizers in Deep Learning with
Swarm Intelligence
- arxiv url: http://arxiv.org/abs/2006.09875v5
- Date: Wed, 19 May 2021 07:47:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-01 12:54:47.125906
- Title: AdaSwarm: Augmenting Gradient-Based optimizers in Deep Learning with
Swarm Intelligence
- Title（参考訳）: AdaSwarm: ディープラーニングにおけるグラディエントベースの最適化をSwarm Intelligenceで強化
- Authors: Rohan Mohapatra, Snehanshu Saha, Carlos A. Coello Coello, Anwesh
Bhattacharya, Soma S. Dhavala and Sriparna Saha
- Abstract要約: 本稿では,Adawarmがニューラルネットワークで採用しているAdawarmと同等あるいはそれ以上の性能を持つ,勾配のない数学的数学であるAdaSを紹介する。
本研究では, EMPSOのパラメータを用いて, 微分可能か否かに関わらず, 任意の関数の勾配を近似できることを示す。
また、AdaSは、最大絶対誤差(MAE)を含む、バックプロパゲーション中に様々な損失証明を処理可能であることを示す。
- 参考スコア（独自算出の注目度）: 19.573380763700715
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces AdaSwarm, a novel gradient-free optimizer which has
similar or even better performance than the Adam optimizer adopted in neural
networks. In order to support our proposed AdaSwarm, a novel Exponentially
weighted Momentum Particle Swarm Optimizer (EMPSO), is proposed. The ability of
AdaSwarm to tackle optimization problems is attributed to its capability to
perform good gradient approximations. We show that, the gradient of any
function, differentiable or not, can be approximated by using the parameters of
EMPSO. This is a novel technique to simulate GD which lies at the boundary
between numerical methods and swarm intelligence. Mathematical proofs of the
gradient approximation produced are also provided. AdaSwarm competes closely
with several state-of-the-art (SOTA) optimizers. We also show that AdaSwarm is
able to handle a variety of loss functions during backpropagation, including
the maximum absolute error (MAE).
- Abstract（参考訳）: 本稿では,ニューラルネットワークで採用されているadamオプティマイザと同等あるいはそれ以上の性能を持つ,新しい勾配フリーオプティマイザであるadaswarmについて述べる。
提案するAdaSwarmを支援するために, 指数重み付き粒子群最適化器 (EMPSO) を提案する。
AdaSwarmが最適化問題に取り組む能力は、優れた勾配近似を行う能力に起因している。
本研究では, EMPSOのパラメータを用いて, 微分可能か否かに関わらず, 任意の関数の勾配を近似できることを示す。
これは数値法と群知能の境界に位置するgdをシミュレートする新しい手法である。
生成する勾配近似の数学的証明も提供される。
AdaSwarmはいくつかの最先端(SOTA)オプティマイザと密接に競合する。
また、AdaSwarmは、最大絶対誤差(MAE)を含む、バックプロパゲーション中に様々な損失関数を処理可能であることを示す。
関連論文リスト
- ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳（メタデータ） (2023-09-12T14:36:13Z) - Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
線形化されたラプラス近似に下界を導入する。
これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
論文 参考訳（メタデータ） (2023-06-06T19:02:57Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - Implicit differentiation for fast hyperparameter selection in non-smooth
convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。
本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文 参考訳（メタデータ） (2021-05-04T17:31:28Z) - A Swarm Variant for the Schr\"odinger Solver [0.0]
本稿では, ニューラルネットワークの微分自由導関数として, Exponentially Averaged Momentum Particle Swarm Optimization (EM-PSO) を適用する。
PSOの主な利点は、探索空間探索や、アダムのような勾配の輝きに比べて、局所的なミニマによる強靭性である。
論文 参考訳（メタデータ） (2021-04-10T15:51:36Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Hyper-parameter estimation method with particle swarm optimization [0.8883733362171032]
PSO法はハイパーパラメータ推定の問題では直接利用できない。
提案手法は,Swarm法を用いて取得関数の性能を最適化する。
いくつかの問題の結果が改善された。
論文 参考訳（メタデータ） (2020-11-24T07:51:51Z) - CoolMomentum: A Method for Stochastic Optimization by Langevin Dynamics
with Simulated Annealing [23.87373187143897]
深層学習アプリケーションは、複数の局所ミニマを持つ非目的関数を大域的に最適化する必要がある。
物理シミュレーションでも同様の問題を解くために座標学習アルゴリズムが利用できることを示す。
論文 参考訳（メタデータ） (2020-05-29T14:44:24Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。