論文の概要: Dealing with unbounded gradients in stochastic saddle-point optimization

• arxiv url: http://arxiv.org/abs/2402.13903v2
• Date: Fri, 7 Jun 2024 14:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 19:47:50.299790
• Title: Dealing with unbounded gradients in stochastic saddle-point optimization
• Title（参考訳）: 確率的サドル点最適化における非有界勾配によるディーリング
• Authors: Gergely Neu, Nneka Okolo,
• Abstract要約: 本研究では,凸凹関数のサドル点を求める一階法の性能について検討する。 悪名高い課題は、最適化中に勾配が任意に大きくなることだ。 本稿では,反復を安定化し,有意義な性能保証を与える,シンプルで効果的な正則化手法を提案する。
• 参考スコア（独自算出の注目度）: 9.983014605039658
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the performance of stochastic first-order methods for finding saddle points of convex-concave functions. A notorious challenge faced by such methods is that the gradients can grow arbitrarily large during optimization, which may result in instability and divergence. In this paper, we propose a simple and effective regularization technique that stabilizes the iterates and yields meaningful performance guarantees even if the domain and the gradient noise scales linearly with the size of the iterates (and is thus potentially unbounded). Besides providing a set of general results, we also apply our algorithm to a specific problem in reinforcement learning, where it leads to performance guarantees for finding near-optimal policies in an average-reward MDP without prior knowledge of the bias span.
• Abstract（参考訳）: 本研究では,凸凹関数のサドル点を求める確率的一階法の性能について検討する。 このような手法が直面する悪名高い課題は、最適化中に勾配が任意に大きく成長し、不安定性とばらつきをもたらす可能性があることである。 本稿では,繰り返しを安定化し,ドメインと勾配雑音が繰り返しスケールしても有意義な性能保証を与える,単純で効果的な正規化手法を提案する。 また,本アルゴリズムを強化学習の特定の問題に適用することにより,偏りの事前知識を伴わずに,平均回帰型MDPにおける準最適ポリシの探索性能が保証される。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• A nearly Blackwell-optimal policy gradient method [4.873362301533825]
  利得を最適化し,バイアスを緩和する政策勾配法を開発した。 対数障壁を用いて対応する二段階最適化を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-28T06:37:02Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)
• Stochastic Approximate Gradient Descent via the Langevin Algorithm [11.36635610546803]
  本研究では,不偏勾配が自明に得られない場合の勾配勾配の代替として,近似勾配勾配(SAGD)を導入する。 SAGDは,予測最大化アルゴリズムや変分オートエンコーダといった,一般的な統計的および機械学習問題において,実験的によく機能することを示す。
  論文  参考訳（メタデータ） (2020-02-13T14:29:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。