論文の概要: On Bock's Conjecture Regarding the Adam Optimizer
- arxiv url: http://arxiv.org/abs/2111.08162v1
- Date: Tue, 16 Nov 2021 00:51:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-18 04:44:27.075517
- Title: On Bock's Conjecture Regarding the Adam Optimizer
- Title（参考訳）: アダム最適化に関するボックの考えについて
- Authors: Mohamed Akrout, Douglas Tweed
- Abstract要約: 2014年、KingmaとBaはAdamアルゴリズムと、それを正当化するための数学的議論を発表した。
2018年、ボックと同僚は、ボックの予想と呼ばれるこの議論から重要な要素が欠落していると報告した。
ここでは、この予想は偽であるが、修正版が成り立つことを示し、ボックのアダムの収束証明のギャップを埋める。
- 参考スコア（独自算出の注目度）: 1.2183405753834562
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In 2014, Kingma and Ba published their Adam optimizer algorithm, together
with a mathematical argument that was meant to help justify it. In 2018, Bock
and colleagues reported that a key piece was missing from that argument $-$ an
unproven lemma which we will call Bock's conjecture. Here we show that this
conjecture is false, but a modified version of it does hold, and fills the gap
in Bock's proof of convergence for Adam.
- Abstract（参考訳）: 2014年、キングマとバはアダム最適化アルゴリズムを発表し、それを正当化するための数学的議論を発表した。
2018年、bockらは、bockの予想と呼ぶ証明されていない補題が$-$という議論からキーピースが欠落していると報告した。
ここで、この予想は偽であるが、その修正版は成立し、アダムに対するボックの収束の証明のギャップを埋める。
関連論文リスト
- Already Moderate Population Sizes Provably Yield Strong Robustness to Noise [53.27802701790209]
2つの進化的アルゴリズムは、OneMaxベンチマークのランタイムを増大させることなく、一定のノイズ確率を許容できることを示す。
この結果は、ノイズのない子孫は親と騒々しい子孫の間に偏りのある均一な交叉と見なすことができるという、新しい証明の議論に基づいている。
論文 参考訳（メタデータ） (2024-04-02T16:35:52Z) - Towards Quantifying the Preconditioning Effect of Adam [36.91196231006288]
二次関数に対するアダムの事前条件効果を詳細に解析する。
我々は、アダムがヘッセンの条件数への依存を緩和できる程度に定量化する。
以上の結果から, 十分に非対角ヘッセン系では, アダムは勾配降下よりも悪くなる可能性が示唆された。
論文 参考訳（メタデータ） (2024-02-11T06:21:18Z) - Closing the Gap Between the Upper Bound and the Lower Bound of Adam's
Iteration Complexity [51.96093077151991]
我々はAdamの新しい収束保証を導出し、$L$-smooth条件と有界雑音分散仮定のみを導出する。
本証明は,運動量と適応学習率の絡み合いを扱うために,新しい手法を利用する。
論文 参考訳（メタデータ） (2023-10-27T09:16:58Z) - Connes implies Tsirelson: a simple proof [91.3755431537592]
コンヌ埋め込み問題は同期的ツィレルソン予想を意味することを示す。
また、コンネスの代数 $mathcalRomega$ の異なる構成もコンネス埋め込み問題に現れる。
論文 参考訳（メタデータ） (2022-09-16T13:59:42Z) - Provable Adaptivity of Adam under Non-uniform Smoothness [79.25087082434975]
アダムは急速に収束するため、実用的な用途で広く採用されている。
アダムの既存の収束解析は、有界な滑らかさの仮定に依存する。
本稿では,ランダムにリシャッフルされたAdamの学習率の低下に伴う収束について検討する。
論文 参考訳（メタデータ） (2022-08-21T14:57:47Z) - Adam Can Converge Without Any Modification on Update Rules [24.575453562687095]
バニラ・アダムは依然として非常に人気があり、実際はうまく機能している。
我々は、$beta$が大きければ、Adamは臨界点の近傍に収束することを示す。
我々の発散結果は収束結果と同一の設定を考慮し、$beta$を増大させるときに発散から収束への相転移を示す。
論文 参考訳（メタデータ） (2022-08-20T08:12:37Z) - What killed the Convex Booster ? [70.04715330065275]
LongとServedioの目覚ましい否定的な結果は、教師付き学習トリオの最悪の大失敗を生んだ。
否定的な結果の源泉は,ML の広範(あるいはそれ以外は注目に値する)な側面のダークサイドにある,と我々は主張する。
論文 参考訳（メタデータ） (2022-05-19T15:42:20Z) - Counterexamples to the Low-Degree Conjecture [80.3668228845075]
ホプキンスの予想は、ある高次元仮説テスト問題に対して、非時間アルゴリズムはいわゆる「単純な統計」よりも優れていると仮定する。
この予想は、統計対計算のトレードオフを理解しようとする最近の研究のラインを囲む信念を定式化する。
論文 参考訳（メタデータ） (2020-04-17T21:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。