論文の概要: Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution
Strategies
- arxiv url: http://arxiv.org/abs/2304.12180v2
- Date: Sat, 9 Dec 2023 22:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 22:57:24.424978
- Title: Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution
Strategies
- Title(参考訳): オンライン進化戦略におけるノイズ・リユースによる変動誘発勾配推定
- Authors: Oscar Li, James Harrison, Jascha Sohl-Dickstein, Virginia Smith, Luke
Metz
- Abstract要約: Noise-Reuse Evolution Strategies (NRES) は、非バイアスのオンライン進化戦略の一般的なクラスである。
NRESの結果は既存のAD法やES法よりも早く,様々なアプリケーションにまたがるウォールクロック時間とステップ数で収束することを示す。
- 参考スコア(独自算出の注目度): 50.10277748405355
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unrolled computation graphs are prevalent throughout machine learning but
present challenges to automatic differentiation (AD) gradient estimation
methods when their loss functions exhibit extreme local sensitivtiy,
discontinuity, or blackbox characteristics. In such scenarios, online evolution
strategies methods are a more capable alternative, while being more
parallelizable than vanilla evolution strategies (ES) by interleaving partial
unrolls and gradient updates. In this work, we propose a general class of
unbiased online evolution strategies methods. We analytically and empirically
characterize the variance of this class of gradient estimators and identify the
one with the least variance, which we term Noise-Reuse Evolution Strategies
(NRES). Experimentally, we show NRES results in faster convergence than
existing AD and ES methods in terms of wall-clock time and number of unroll
steps across a variety of applications, including learning dynamical systems,
meta-training learned optimizers, and reinforcement learning.
- Abstract(参考訳): 未ロール計算グラフは機械学習全体に普及しているが、損失関数が極端に局所的な感性、不連続性、ブラックボックス特性を示す場合、自動微分(ad)勾配推定法に挑戦する。
このようなシナリオでは、オンライン進化戦略手法はより有能な方法であり、部分的なアンロールと勾配の更新をインターリーブすることによって、バニラ進化戦略(ES)よりも並列化可能である。
本研究では,非バイアスのオンライン進化戦略手法の一般クラスを提案する。
我々は,この種類の勾配推定器の分散を解析的,実証的に特徴付け,ノイズリユース進化戦略 (nres) と呼ぶ最小分散を持つものを同定する。
実験により,nresは,動的システムの学習,学習オプティマイザのメタトレーニング,強化学習など,さまざまなアプリケーションにわたる壁時計時間とアンロールステップ数の観点から,既存のadおよびesメソッドよりも高速に収束することを示す。
関連論文リスト
- Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - Byzantine-Robust Decentralized Stochastic Optimization with Stochastic
Gradient Noise-Independent Learning Error [25.15075119957447]
分散ネットワーク上でのビザンチン-ロバスト最適化について検討し、各エージェントが近隣のエージェントと定期的に通信して局所モデルを交換し、勾配降下(SGD)により独自の局所モデルを更新する。
このような手法の性能は、最適化プロセス中に逆向きに実行される未知数のビザンチンエージェントに影響される。
論文 参考訳(メタデータ) (2023-08-10T02:14:23Z) - Lottery Tickets in Evolutionary Optimization: On Sparse
Backpropagation-Free Trainability [0.0]
我々は勾配降下(GD)に基づくスパーストレーニングと進化戦略(ES)について研究する。
ESは多様で平坦な局所最適条件を探索し、疎度レベルと独立ランをまたいだ線形モード接続を保たないことがわかった。
論文 参考訳(メタデータ) (2023-05-31T15:58:54Z) - Discovering Evolution Strategies via Meta-Black-Box Optimization [23.956974467496345]
メタラーニングによる進化戦略の効果的な更新ルールの発見を提案する。
本手法では,自己注意型アーキテクチャによってパラメータ化された探索戦略を用いる。
進化戦略をスクラッチから自己参照的に訓練することは可能であり、学習された更新ルールは外部メタラーニングループを駆動するために使用される。
論文 参考訳(メタデータ) (2022-11-21T08:48:46Z) - Continuous-Time Meta-Learning with Forward Mode Differentiation [65.26189016950343]
本稿では,勾配ベクトル場の力学に適応するメタ学習アルゴリズムであるContinuous Meta-Learning(COMLN)を紹介する。
学習プロセスをODEとして扱うことは、軌跡の長さが現在連続しているという顕著な利点を提供する。
本稿では,実行時とメモリ使用時の効率を実証的に示すとともに,いくつかの画像分類問題に対して有効性を示す。
論文 参考訳(メタデータ) (2022-03-02T22:35:58Z) - One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient
Reinforcement Learning [61.662504399411695]
より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。
Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
論文 参考訳(メタデータ) (2021-10-30T08:36:52Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳(メタデータ) (2021-06-22T08:40:51Z) - Adaptive Learning Rate and Momentum for Training Deep Neural Networks [0.0]
本研究では,非線形共役勾配(CG)フレームワークによる高速トレーニング手法を開発した。
画像分類データセットの実験により,本手法は他の局所解法よりも高速な収束が得られることが示された。
論文 参考訳(メタデータ) (2021-06-22T05:06:56Z) - Training Generative Adversarial Networks by Solving Ordinary
Differential Equations [54.23691425062034]
GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。
この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。
本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
論文 参考訳(メタデータ) (2020-10-28T15:23:49Z) - Adaptive Gradient Method with Resilience and Momentum [120.83046824742455]
レジリエンスとモメンタム(AdaRem)を用いた適応勾配法を提案する。
AdaRemは、過去の1つのパラメータの変化方向が現在の勾配の方向と一致しているかどうかに応じてパラメータワイズ学習率を調整する。
本手法は,学習速度とテスト誤差の観点から,従来の適応学習率に基づくアルゴリズムよりも優れていた。
論文 参考訳(メタデータ) (2020-10-21T14:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。