論文の概要: Omega: Optimistic EMA Gradients

• arxiv url: http://arxiv.org/abs/2306.07905v2
• Date: Tue, 26 Mar 2024 00:21:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:30:07.821768
• Title: Omega: Optimistic EMA Gradients
• Title（参考訳）: Omega: 最適化EMAのグラディエント
• Authors: Juan Ramirez, Rohan Sukumaran, Quentin Bertrand, Gauthier Gidel,
• Abstract要約: 我々は,その更新ルールに履歴勾配を組み込むことで,騒音の影響を緩和する楽観的な更新手法であるOmegaを紹介する。 収束保証は提供していないが,ゲーム実験により,線形プレイヤーに適用した場合に,オメガが楽観的勾配法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 17.11877451333674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic min-max optimization has gained interest in the machine learning community with the advancements in GANs and adversarial training. Although game optimization is fairly well understood in the deterministic setting, some issues persist in the stochastic regime. Recent work has shown that stochastic gradient descent-ascent methods such as the optimistic gradient are highly sensitive to noise or can fail to converge. Although alternative strategies exist, they can be prohibitively expensive. We introduce Omega, a method with optimistic-like updates that mitigates the impact of noise by incorporating an EMA of historic gradients in its update rule. We also explore a variation of this algorithm that incorporates momentum. Although we do not provide convergence guarantees, our experiments on stochastic games show that Omega outperforms the optimistic gradient method when applied to linear players.
• Abstract（参考訳）: 確率的なmin-max最適化は、GANの進歩と敵の訓練により、機械学習コミュニティに関心を寄せている。 ゲーム最適化は決定論的設定においてかなりよく理解されているが、確率的状態においてはいくつかの問題が続いている。 近年の研究では、楽観的勾配のような確率的勾配勾配上昇法はノイズに非常に敏感か収束に失敗することを示した。 代替戦略はあるが、それは違法に高価である。 我々は,その更新ルールに歴史的勾配のEMAを組み込むことで,騒音の影響を緩和する楽観的な更新手法であるOmegaを紹介する。 また、運動量を含むこのアルゴリズムのバリエーションについても検討する。 収束保証は提供していないが、確率ゲームの実験により、オメガは線形プレイヤーに適用した場合、楽観的な勾配法よりも優れていたことが示されている。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• ELRA: Exponential learning rate adaption gradient descent optimization method [83.88591755871734]
  我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。 本手法の主な考え方は,状況認識による$alphaの適応である。 これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
  論文  参考訳（メタデータ） (2023-09-12T14:36:13Z)
• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• A Comparison of Various Classical Optimizers for a Variational Quantum Linear Solver [0.0]
  変分型ハイブリッド量子古典アルゴリズム(VHQCAs)は、ノイズの多い量子デバイス上で動作することを目的とした量子アルゴリズムのクラスである。 これらのアルゴリズムは、パラメータ化量子回路(アンサッツ)と量子古典フィードバックループを用いる。 古典的なデバイスは、量子デバイス上ではるかに効率的に計算できるコスト関数を最小限に抑えるためにパラメータを最適化するために使用される。
  論文  参考訳（メタデータ） (2021-06-16T10:40:00Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• SMG: A Shuffling Gradient-Based Method with Momentum [25.389545522794172]
  機械学習の最適化に広く使われている2つの先進的なアイデアを組み合わせる。 我々はシャッフルに基づく新しいモーメント技術を開発した。 私たちのテストでは、新しいアルゴリズムの性能が向上しました。
  論文  参考訳（メタデータ） (2020-11-24T04:12:35Z)
• Self-Tuning Stochastic Optimization with Curvature-Aware Gradient Filtering [53.523517926927894]
  サンプルごとのHessian-vector積と勾配を用いて、自己チューニングの二次構造を構築する。 モデルに基づく手続きが雑音勾配設定に収束することを証明する。 これは自己チューニング二次体を構築するための興味深いステップである。
  論文  参考訳（メタデータ） (2020-11-09T22:07:30Z)
• Expectigrad: Fast Stochastic Optimization with Robust Convergence Properties [18.973116252065278]
  そこで本稿では,数値と分母を連立して,すべての歴史的運動量項の成分ごとの非重み付き平均値に応じて調整を行う,期待段階という新しい手法を提案する。 我々は、Adam の発散を引き起こすことが知られている勾配最適化問題のすべての事例において、期待度が分岐できないことを証明した。
  論文  参考訳（メタデータ） (2020-10-03T13:34:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。