論文の概要: What is a Good Metric to Study Generalization of Minimax Learners?

• arxiv url: http://arxiv.org/abs/2206.04502v1
• Date: Thu, 9 Jun 2022 13:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 20:41:19.511307
• Title: What is a Good Metric to Study Generalization of Minimax Learners?
• Title（参考訳）: ミニマックス学習者の一般化を学ぶための良い基準とは何か
• Authors: Asuman Ozdaglar, Sarath Pattathil, Jiawei Zhang, Kaiqing Zhang
• Abstract要約: Minimax最適化は多くの機械学習(ML)問題のバックボーンとして機能している。 データでトレーニングされたソリューションがメトリックテストでどのように機能するかは、比較的調査されていない。 本稿では,これらの問題に対処するため,新しい計量一般化ミニマックス学習者を提案する。
• 参考スコア（独自算出の注目度）: 24.577243536475233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Minimax optimization has served as the backbone of many machine learning (ML) problems. Although the convergence behavior of optimization algorithms has been extensively studied in minimax settings, their generalization guarantees in the stochastic setting, i.e., how the solution trained on empirical data performs on the unseen testing data, have been relatively underexplored. A fundamental question remains elusive: What is a good metric to study generalization of minimax learners? In this paper, we aim to answer this question by first showing that primal risk, a universal metric to study generalization in minimization, fails in simple examples of minimax problems. Furthermore, another popular metric, the primal-dual risk, also fails to characterize the generalization behavior for minimax problems with nonconvexity, due to non-existence of saddle points. We thus propose a new metric to study generalization of minimax learners: the primal gap, to circumvent these issues. Next, we derive generalization bounds for the primal gap in nonconvex-concave settings. As byproducts of our analysis, we also solve two open questions: establishing generalization bounds for primal risk and primal-dual risk in the strong sense, i.e., without strong concavity or assuming that the maximization and expectation can be interchanged, while either of these assumptions was needed in the literature. Finally, we leverage this new metric to compare the generalization behavior of two popular algorithms -- gradient descent-ascent (GDA) and gradient descent-max (GDMax) in stochastic minimax optimization.
• Abstract（参考訳）: Minimax最適化は多くの機械学習(ML)問題のバックボーンとして機能している。 最適化アルゴリズムの収束挙動はミニマックス設定で広範囲に研究されてきたが、確率的設定における一般化の保証、すなわち、経験的データで訓練された解が未発見のテストデータに対してどのように作用するかは、比較的過小評価されている。 ミニマックス学習者の一般化を研究するための良い指標は何だろうか? 本稿では,最小化の一般化を研究する普遍的計量である原始リスクが,ミニマックス問題の単純な例で失敗することを示す。 さらに、他の一般的な計量である原始双対リスクは、サドル点の非存在のため、非凸性を持つミニマックス問題の一般化挙動を特徴づけることができない。 そこで我々は,これらの問題を回避すべく,ミニマックス学習者の一般化を研究するための新しい尺度を提案する。 次に、非凸凸設定における原始ギャップの一般化境界を求める。 分析の副産物として, 強い意味での主観的リスクと主観的リスクの一般化境界を確立すること, あるいは, 最大化と期待を交換できると仮定すること, いずれの仮定も文献で必要であった。 最後に,確率的ミニマックス最適化における勾配降下法(gda)と勾配降下法(gdmax)の2つの一般的なアルゴリズムの一般化挙動を比較するために,この新しい測定値を利用する。

関連論文リスト

• Towards Sharper Risk Bounds for Minimax Problems [23.380477456114118]
  ミニマックス問題は、敵対的、堅牢な最適化、強化学習といった機械学習で成功している。 理論解析では、現在の最適余剰リスク境界は一般化誤差と強強コンケーブ(SC-SC)における1/nレートによって構成される。 我々は、経験的サドル点(GDA)、勾配降下(DA)、勾配降下(SG)などの一般的なアルゴリズムを分析する。 ミニマックス問題の結果より n 倍早く導出する。
  論文  参考訳（メタデータ） (2024-10-11T03:50:23Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Escaping limit cycles: Global convergence for constrained nonconvex-nonconcave minimax problems [46.71914490521821]
  本稿では,非コンケーブなミニマックス問題のクラスに対して,新たな漸進型アルゴリズムを提案する。 提案アルゴリズムは制約付き正規化問題に適用可能である。
  論文  参考訳（メタデータ） (2023-02-20T08:37:08Z)
• Minimax Optimization: The Case of Convex-Submodular [50.03984152441271]
  ミニマックス問題は連続領域を超えて連続離散領域や完全離散領域にまで拡張される。 連続変数に関して目的が凸であり、離散変数に関して部分モジュラーであるような凸-部分モジュラーミニマックス問題のクラスを導入する。 提案アルゴリズムは反復的であり、離散最適化と連続最適化の両方のツールを組み合わせる。
  論文  参考訳（メタデータ） (2021-11-01T21:06:35Z)
• Stability and Generalization of Stochastic Gradient Methods for Minimax Problems [71.60601421935844]
  多くの機械学習問題は、GAN(Generative Adversarial Networks)のようなミニマックス問題として定式化できる。 ミニマックス問題に対するトレーニング勾配法から例を包括的に一般化解析する。
  論文  参考訳（メタデータ） (2021-05-08T22:38:00Z)
• Train simultaneously, generalize better: Stability of gradient-based minimax learners [12.691047660244331]
  コンベックス・コンベブと非コンベックス・ミニマックス・セッティングの両方において,訓練されたミニマックスモデルの性能において重要な役割を担っている。 学習したミニマックスモデルの一般化における最適化アルゴリズムの役割を示す数値的な結果について議論する。
  論文  参考訳（メタデータ） (2020-10-23T17:44:43Z)
• Learning Minimax Estimators via Online Learning [55.92459567732491]
  確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。 混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
  論文  参考訳（メタデータ） (2020-06-19T22:49:42Z)
• Non-convex Min-Max Optimization: Applications, Challenges, and Recent Theoretical Advances [58.54078318403909]
  min-max問題(英: min-max problem)またはサドル点問題(英: saddle point problem)は、サムゲームにおいても研究されるクラス逆問題である。
  論文  参考訳（メタデータ） (2020-06-15T05:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。