論文の概要: Towards Sharper Risk Bounds for Minimax Problems

• arxiv url: http://arxiv.org/abs/2410.08497v1
• Date: Fri, 11 Oct 2024 03:50:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 23:34:54.097164
• Title: Towards Sharper Risk Bounds for Minimax Problems
• Title（参考訳）: ミニマックス問題に対するシャーパリスク境界に向けて
• Authors: Bowei Zhu, Shaojie Li, Yong Liu,
• Abstract要約: ミニマックス問題は、敵対的、堅牢な最適化、強化学習といった機械学習で成功している。 理論解析では、現在の最適余剰リスク境界は一般化誤差と強強コンケーブ(SC-SC)における1/nレートによって構成される。 我々は、経験的サドル点(GDA)、勾配降下(DA)、勾配降下(SG)などの一般的なアルゴリズムを分析する。 ミニマックス問題の結果より n 倍早く導出する。
• 参考スコア（独自算出の注目度）: 23.380477456114118
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimax problems have achieved success in machine learning such as adversarial training, robust optimization, reinforcement learning. For theoretical analysis, current optimal excess risk bounds, which are composed by generalization error and optimization error, present 1/n-rates in strongly-convex-strongly-concave (SC-SC) settings. Existing studies mainly focus on minimax problems with specific algorithms for optimization error, with only a few studies on generalization performance, which limit better excess risk bounds. In this paper, we study the generalization bounds measured by the gradients of primal functions using uniform localized convergence. We obtain a sharper high probability generalization error bound for nonconvex-strongly-concave (NC-SC) stochastic minimax problems. Furthermore, we provide dimension-independent results under Polyak-Lojasiewicz condition for the outer layer. Based on our generalization error bound, we analyze some popular algorithms such as empirical saddle point (ESP), gradient descent ascent (GDA) and stochastic gradient descent ascent (SGDA). We derive better excess primal risk bounds with further reasonable assumptions, which, to the best of our knowledge, are n times faster than exist results in minimax problems.
• Abstract（参考訳）: ミニマックス問題は、敵の訓練、堅牢な最適化、強化学習などの機械学習で成功している。 理論解析において、一般化誤差と最適化誤差によって構成される現在の最適過大なリスク境界は、強凸強対流(SC-SC)設定において1/nレートを示す。 既存の研究は主に最適化誤差の特定のアルゴリズムによるミニマックス問題に焦点を合わせており、より優れた過大なリスク境界を制限する一般化性能についてはほとんど研究されていない。 本稿では,一様局所収束を用いた一次関数の勾配によって測定される一般化境界について検討する。 我々は,非凸強対流(NC-SC)確率最小値問題に対して,よりシャープな高確率一般化誤差を求める。 さらに、外層に対して、ポリアック・ロジャシエヴィチ条件の下で次元に依存しない結果を与える。 一般化誤差に基づいて、経験的サドル点(ESP)、勾配勾配上昇(GDA)、確率勾配上昇(SGDA)などの一般的なアルゴリズムを分析した。 我々は、より合理的な仮定を伴って、過剰な原始的リスク境界を導出するが、これは私たちの知識の最も良いところは、ミニマックス問題における結果よりもn倍高速である。

関連論文リスト

• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• What is a Good Metric to Study Generalization of Minimax Learners? [24.577243536475233]
  Minimax最適化は多くの機械学習(ML)問題のバックボーンとして機能している。 データでトレーニングされたソリューションがメトリックテストでどのように機能するかは、比較的調査されていない。 本稿では,これらの問題に対処するため,新しい計量一般化ミニマックス学習者を提案する。
  論文  参考訳（メタデータ） (2022-06-09T13:39:06Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Towards Optimal Problem Dependent Generalization Error Bounds in Statistical Learning Theory [11.840747467007963]
  我々は,「ベスト勾配仮説」で評価された分散,有効損失誤差,ノルムとほぼ最適にスケールする問題依存率について検討する。 一様局所収束(uniform localized convergence)と呼ばれる原理的枠組みを導入する。 我々は,既存の一様収束と局所化解析のアプローチの基本的制約を,我々のフレームワークが解決していることを示す。
  論文  参考訳（メタデータ） (2020-11-12T04:07:29Z)
• Stochastic Hard Thresholding Algorithms for AUC Maximization [49.00683387735522]
  分散分類におけるAUCのためのハードしきい値決定アルゴリズムを開発した。 提案アルゴリズムの有効性と有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2020-11-04T16:49:29Z)
• Train simultaneously, generalize better: Stability of gradient-based minimax learners [12.691047660244331]
  コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
  論文  参考訳（メタデータ） (2020-10-23T17:44:43Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。