論文の概要: Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization

• arxiv url: http://arxiv.org/abs/2412.15956v1
• Date: Fri, 20 Dec 2024 14:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:16.910503
• Title: Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization
• Title（参考訳）: 非ユークリッド経験的リスク最小化のためのブラックボックス均一安定性
• Authors: Simon Vary, David Martínez-Rubio, Patrick Rebeschini,
• Abstract要約: 経験的リスク最小化問題に対して一様安定な1次アルゴリズムについて検討する。 本研究では,滑らかな凸損失に対する最適化アルゴリズムを一様安定な学習アルゴリズムに変換するブラックボックス削減手法を提案する。
• 参考スコア（独自算出の注目度）: 15.334392442475115
• License:
• Abstract: We study first-order algorithms that are uniformly stable for empirical risk minimization (ERM) problems that are convex and smooth with respect to $p$-norms, $p \geq 1$. We propose a black-box reduction method that, by employing properties of uniformly convex regularizers, turns an optimization algorithm for H\"older smooth convex losses into a uniformly stable learning algorithm with optimal statistical risk bounds on the excess risk, up to a constant factor depending on $p$. Achieving a black-box reduction for uniform stability was posed as an open question by (Attia and Koren, 2022), which had solved the Euclidean case $p=2$. We explore applications that leverage non-Euclidean geometry in addressing binary classification problems.
• Abstract（参考訳）: 経験的リスク最小化(ERM)問題に対して一様安定な1次アルゴリズムを,$p$-norms,$p \geq 1$に対して凸かつ滑らかに検討した。 我々は,一様凸正規化器の特性を利用して,H\"古い凸損失に対する最適化アルゴリズムを,過大なリスクに最適な統計的リスク境界を持つ一様安定な学習アルゴリズムに変換し,最大$p$に依存する定数係数に変換するブラックボックス還元法を提案する。 Attia and Koren, 2022) により, 均一安定のためのブラックボックスの削減は, ユークリッドの場合$p=2$を解いた。 非ユークリッド幾何学を応用した二項分類問題の解法について検討する。

関連論文リスト

• Trust-Region Sequential Quadratic Programming for Stochastic Optimization with Random Models [57.52124921268249]
  本稿では,1次と2次の両方の定常点を見つけるための信頼逐次準計画法を提案する。 本手法は, 1次定常点に収束するため, 対象対象の近似を最小化して定義された各イテレーションの勾配ステップを計算する。 2階定常点に収束するため,本手法は負曲率を減少するヘッセン行列を探索する固有ステップも計算する。
  論文  参考訳（メタデータ） (2024-09-24T04:39:47Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Uniform Stability for First-Order Empirical Risk Minimization [33.593203156666746]
  経験的リスク最小化のための一様安定な一階最適化アルゴリズムを設計する問題を考察する。 ユークリッド幾何学では、滑らかな最適化アルゴリズムを与えるブラックボックス変換を提案し、その収束率を対数係数まで保ちながら、アルゴリズムの一様安定バージョンを生成する。 より一般的な幾何学では、収束率$widetildeO (1/T)$と一様安定性$O(T/n)$で滑らかな最適化を行うミラー・ダイアンスの変種を開発する。
  論文  参考訳（メタデータ） (2022-07-17T18:53:50Z)
• Non-Euclidean Differentially Private Stochastic Convex Optimization [15.302167005107135]
  雑音勾配降下法(SGD)アルゴリズムは低次元状態において最適過大なリスクを達成できることを示す。 私たちの作品は、規則性、均一凸性、均一な平滑性の概念など、規範空間の幾何学から概念を導き出します。
  論文  参考訳（メタデータ） (2021-03-01T19:48:44Z)
• Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
  我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。 MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
  論文  参考訳（メタデータ） (2020-10-12T17:41:44Z)
• For interpolating kernel machines, minimizing the norm of the ERM solution minimizes stability [20.775719987269003]
  最小ノルムの補間解が$mboxCV_loo$の安定性の限界を最小化することを示す。 ランダムカーネルの仮定では、対応するテストエラーは二重降下曲線に従わなければならない。
  論文  参考訳（メタデータ） (2020-06-28T05:54:03Z)
• Optimal Epoch Stochastic Gradient Descent Ascent Methods for Min-Max Optimization [61.66927778694731]
  エポッチ勾配降下法(エポッチ勾配降下法、Epoch-GD)は、2011年にHazan and Kaleによって提唱された。 Epoch-GDA が SCSC min-max 問題の双対性ギャップに対して$O (1/T) の最適レートを達成できることを示す最初の実験である。
  論文  参考訳（メタデータ） (2020-02-13T02:16:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。