Fugu-MT 論文翻訳(概要): Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example

論文の概要: Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example

arxiv url: http://arxiv.org/abs/2308.00720v1
Date: Tue, 1 Aug 2023 11:13:54 GMT
ステータス: 処理完了
システム内更新日: 2023-08-03 15:09:56.242438
Title: Divergence of the ADAM algorithm with fixed-stepsize: a (very) simple example
Title（参考訳）: 固定ステップサイズによるadamアルゴリズムの発散:(非常に)簡単な例
Authors: Ph. L. Toint
Abstract要約: リプシッツ連続勾配を持つ非常に単純な一次元函数が構成される。定段化のADAMアルゴリズムは、起点から始まり、勾配にノイズがない場合にこの関数を最小化するために適用されたときに発散する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: A very simple unidimensional function with Lipschitz continuous gradient is constructed such that the ADAM algorithm with constant stepsize, started from the origin, diverges when applied to minimize this function in the absence of noise on the gradient. Divergence occurs irrespective of the choice of the method parameters.
Abstract（参考訳）: リプシッツ連続勾配を持つ非常に単純な一次元関数は、定段化のADAMアルゴリズムが原点から始まり、勾配に雑音がない場合にこの関数を最小化するときに発散するように構成される。発散はメソッドパラメータの選択に関係なく発生する。

関連論文リスト

A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文参考訳（メタデータ） (2024-09-07T06:37:23Z)
Beyond the Golden Ratio for Variational Inequality Algorithms [12.470097382737933]
我々は,モノトーン変分不等式 (VI) と凸凹 min-max 問題の解法である $textitgolden ratio algorithm$ の理解を改善した。我々は,黄金比アルゴリズムと文献における既存のアルゴリズムとの橋渡しを完了するために,より大きなステップサイズを使用することのできる新しい分析手法を提案する。
論文参考訳（メタデータ） (2022-12-28T16:58:48Z)
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文参考訳（メタデータ） (2021-07-21T17:10:14Z)
Stochastic gradient descent with noise of machine learning type. Part II: Continuous time analysis [0.0]
特定の雑音条件下では、最適化アルゴリズムは、同質雑音を伴う連続時間SGDの平坦な最小選択とは異なる意味で、目的関数の「平坦な」ミニマを好むことを示す。
論文参考訳（メタデータ） (2021-06-04T16:34:32Z)
Finite-Sample Analysis for Two Time-scale Non-linear TDC with General Smooth Function Approximation [27.149240954363496]
我々は,一般のオフ・ポリシー設定にバインドされた有限サンプル誤差を明示的に特徴付ける新しい手法を開発した。本手法は,一般的なスムーズな関数近似を用いた広範囲なT型学習アルゴリズムに適用できる。
論文参考訳（メタデータ） (2021-04-07T00:34:11Z)
AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文参考訳（メタデータ） (2021-02-19T01:17:15Z)
Sample Complexity Bounds for Two Timescale Value-based Reinforcement Learning Algorithms [65.09383385484007]
2つの時間スケール近似(SA)は、値に基づく強化学習アルゴリズムで広く使われている。本稿では,2つの時間スケール線形および非線形TDCとGreedy-GQアルゴリズムの漸近収束率について検討する。
論文参考訳（メタデータ） (2020-11-10T11:36:30Z)
Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文参考訳（メタデータ） (2020-07-07T21:26:35Z)
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文参考訳（メタデータ） (2020-07-02T16:02:02Z)
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文参考訳（メタデータ） (2020-06-19T14:11:26Z)
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
論文参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。