論文の概要: Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling

• arxiv url: http://arxiv.org/abs/2003.10162v2
• Date: Thu, 5 Nov 2020 13:34:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 00:49:32.707425
• Title: Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling
• Title（参考訳）: 逐次的に、保守的に更新する: 可変ステップサイズスケーリングによる確率的外生的方法
• Authors: Yu-Guan Hsieh, Franck Iutzeler, J\'er\^ome Malick, Panayotis Mertikopoulos
• Abstract要約: 機械学習における大規模サドルポイント問題の解法としては、段階的な手法が必須となっている。 本稿では, 単純な双線形モデルであっても, 勾配によるバニラの過度な走行は収束を阻害する可能性があることを示す。 この修正により勾配にも収束でき、誤差境界条件下での鋭い収束率を導出できることを示す。
• 参考スコア（独自算出の注目度）: 34.35013145885164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Owing to their stability and convergence speed, extragradient methods have become a staple for solving large-scale saddle-point problems in machine learning. The basic premise of these algorithms is the use of an extrapolation step before performing an update; thanks to this exploration step, extra-gradient methods overcome many of the non-convergence issues that plague gradient descent/ascent schemes. On the other hand, as we show in this paper, running vanilla extragradient with stochastic gradients may jeopardize its convergence, even in simple bilinear models. To overcome this failure, we investigate a double stepsize extragradient algorithm where the exploration step evolves at a more aggressive time-scale compared to the update step. We show that this modification allows the method to converge even with stochastic gradients, and we derive sharp convergence rates under an error bound condition.
• Abstract（参考訳）: 安定性と収束速度のため、機械学習における大規模サドルポイント問題の解法としては、段階的な手法が必須となっている。 これらのアルゴリズムの基本的な前提は、更新を行う前に外挿ステップを使用することである。この探索ステップのおかげで、外向きのメソッドは、勾配降下/上昇スキームを悩ませる非収束問題の多くを克服している。 一方,本論文で示すように,確率的勾配を持つバニラ勾配の動作は,単純な双線型モデルにおいてもその収束を損なう可能性がある。 この失敗を克服するために,探索ステップが更新ステップよりも積極的な時間スケールで進化する2ステップ化超勾配アルゴリズムについて検討した。 この修正により, 確率勾配でも収束することができ, 誤差境界条件下での鋭収束率を導出できることを示す。

関連論文リスト

• Stagewise Boosting Distributional Regression [0.0]
  本稿では,分布回帰のための段階的ブースティング型アルゴリズムを提案する。 新たな正則化手法である相関フィルタリングを用いて拡張し,さらなる安定性を実現する。 大規模なデータセットを処理するメリットに加えて、近似の性質はより良い結果をもたらす可能性がある。
  論文  参考訳（メタデータ） (2024-05-28T15:40:39Z)
• One-Step Forward and Backtrack: Overcoming Zig-Zagging in Loss-Aware Quantization Training [12.400950982075948]
  重み量子化は、限られたリソースを持つエッジデバイスに展開するディープニューラルネットワークを圧縮する効果的な手法である。 従来の損失対応量子化法は、全精度勾配を置き換えるために量子化勾配を用いるのが一般的である。 本稿では、損失認識量子化のための1ステップの前進およびバックトラック手法を提案し、より正確で安定した勾配方向を得る。
  論文  参考訳（メタデータ） (2024-01-30T05:42:54Z)
• Aiming towards the minimizers: fast convergence of SGD for overparametrized problems [25.077446336619378]
  本稿では,勾配法と同一のケース複雑性を有する勾配法を提案する。 既存の保証は全て勾配法で小さなステップを踏む必要があり、結果として収束速度ははるかに遅くなる。 我々は,線形出力層を用いた十分に広いフィードフォワードニューラルネットワークのトレーニングにおいて,この条件が成り立つことを実証した。
  論文  参考訳（メタデータ） (2023-06-05T05:21:01Z)
• Stochastic Gradient Methods with Preconditioned Updates [47.23741709751474]
  このような問題に対するアルゴリズムはいくつかあるが、既存の手法は、スケールが悪く、あるいは条件が悪ければ、しばしばうまく機能しない。 ここではハッチンソンの対角ヘッセン近似のアプローチに基づく前提条件を含む。 我々は滑らかさとPL条件が仮定されるときの収束性を証明する。
  論文  参考訳（メタデータ） (2022-06-01T07:38:08Z)
• Cutting Some Slack for SGD with Adaptive Polyak Stepsizes [35.024680868164445]
  SPS (Stochastic gradient with a Polyak Stepsize) 適応法について考察する。 まず、SPSとその最近の変種は、すべて非線形問題に適用されたパッシブ・攻撃的手法の拡張と見なせることを示す。 我々はこの知見を用いて非線形モデルに適した新しいSPS法を開発した。
  論文  参考訳（メタデータ） (2022-02-24T19:31:03Z)
• One Step at a Time: Pros and Cons of Multi-Step Meta-Gradient Reinforcement Learning [61.662504399411695]
  より正確でロバストなメタ勾配信号を持つ複数の内部ステップを混合する新しい手法を提案する。 Snakeゲームに適用した場合、混合メタグラディエントアルゴリズムは、類似または高い性能を達成しつつ、その分散を3倍に削減することができる。
  論文  参考訳（メタデータ） (2021-10-30T08:36:52Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。