論文の概要: Randomized Stochastic Gradient Descent Ascent

• arxiv url: http://arxiv.org/abs/2111.13162v1
• Date: Thu, 25 Nov 2021 16:44:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 05:47:00.238933
• Title: Randomized Stochastic Gradient Descent Ascent
• Title（参考訳）: ランダム化確率勾配降下上昇
• Authors: Othmane Sebbouh and Marco Cuturi and Gabriel Peyr\'e
• Abstract要約: 既存のアルゴリズムの堅牢性や逆転性といった機械学習問題の増加には、損失関数を最小化する必要がある。 より単純な理論解析によるループサイズを持つESGDAの変種であるRSGDA(Randomized SGD)を提案する。
• 参考スコア（独自算出の注目度）: 37.887266927498395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An increasing number of machine learning problems, such as robust or adversarial variants of existing algorithms, require minimizing a loss function that is itself defined as a maximum. Carrying a loop of stochastic gradient ascent (SGA) steps on the (inner) maximization problem, followed by an SGD step on the (outer) minimization, is known as Epoch Stochastic Gradient \textit{Descent Ascent} (ESGDA). While successful in practice, the theoretical analysis of ESGDA remains challenging, with no clear guidance on choices for the inner loop size nor on the interplay between inner/outer step sizes. We propose RSGDA (Randomized SGDA), a variant of ESGDA with stochastic loop size with a simpler theoretical analysis. RSGDA comes with the first (among SGDA algorithms) almost sure convergence rates when used on nonconvex min/strongly-concave max settings. RSGDA can be parameterized using optimal loop sizes that guarantee the best convergence rates known to hold for SGDA. We test RSGDA on toy and larger scale problems, using distributionally robust optimization and single-cell data matching using optimal transport as a testbed.
• Abstract（参考訳）: 既存のアルゴリズムの堅牢性や逆数のような機械学習問題の増加は、それ自体が最大として定義される損失関数を最小化する必要がある。 内)最大化問題における確率勾配上昇(SGA)のループと、(外)最小化に関するSGDステップは、Epoch Stochastic Gradient \textit{Descent Ascent} (ESGDA)として知られている。 実際に成功したが、ESGDAの理論解析は依然として困難であり、内ループサイズの選択や内ステップサイズと外ステップサイズの間の相互作用について明確なガイダンスはない。 より単純な理論的解析により,確率ループサイズのESGDAの変種であるRSGDA(Randomized SGDA)を提案する。 rsgdaには最初の(sgdaアルゴリズムを使った)コンバージェンスレートがほぼ確実に設定されている。 RSGDAは最適ループサイズを用いてパラメータ化することができ、SGDAが持つ最良の収束速度を保証する。 テストベッドとして最適輸送を用いた分散ロバスト最適化と単セルデータマッチングを用いて,おもちゃおよび大規模問題に対してRSGDAを検証した。

関連論文リスト

• SketchySGD: Reliable Stochastic Optimization via Randomized Curvature Estimates [19.420605210427635]
  SketchySGDは、サブサンプルヘッセンに対するランダム化低ランク近似を用いることで、機械学習の既存の勾配法を改善する。 固定段数を持つSketchySGDが最適の周りの小さな球に線形に収束することを理論的に示す。 条件のない設定では、最小二乗問題に対してSketchySGDはSGDよりも高速に収束することを示す。
  論文  参考訳（メタデータ） (2022-11-16T01:05:41Z)
• SGDA with shuffling: faster convergence for nonconvex-P{\L} minimax optimization [18.668531108219415]
  逐次降下勾配(SGDA)を用いた最小最適化問題に対する理論的アプローチを提案する。 我々は,ポリアック・ロジャシエヴィチ(PL)幾何を用いて,非凹凸対象に対するSGDA-LLの同時的および交互的目的を解析した。 我々のレートはミニバッチGDARRにも拡張され、完全な勾配勾配降下勾配 (GDA) の既知率はほとんど回復しない。 最後に, 2 時間スケール GDA の包括的下限について述べる。
  論文  参考訳（メタデータ） (2022-10-12T08:05:41Z)
• Faster Single-loop Algorithms for Minimax Optimization without Strong Concavity [30.97847679999505]
  GDA(Gradient descent Ascent)は、GAN(Generative Adversarial Network)やGAN(Adversarial Network)といった実用用途で広く利用されている。 最近の研究は、一方のトレーニング結果に対する反復の理論において、GDAの収束率が劣っていることを示している。 本稿では, 1変数のpolyak-Lojasiewicz(PL)条件を満たすという軽微な仮定の下で, GDAと滑らかなGDAの交互化という2つの代替シングルループアルゴリズムを確立する。
  論文  参考訳（メタデータ） (2021-12-10T15:35:42Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• Least Squares Regression with Markovian Data: Fundamental Limits and Algorithms [69.45237691598774]
  マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。 この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。 本稿では,経験的リプレイに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T04:26:50Z)
• An Optimal Multistage Stochastic Gradient Method for Minimax Problems [8.615625517708324]
  滑らかかつ強凸な凹凸配置におけるミニマックス最適化問題について検討する。 まず, 定常ステップサイズでグラディエントDescent Ascent (GDA) 法を解析した。 本稿では,学習速度の減衰スケジュールを多段階に設定した多段階型GDAを提案する。
  論文  参考訳（メタデータ） (2020-02-13T18:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。