Fugu-MT 論文翻訳(概要): Stability and Sharper Risk Bounds with Convergence Rate $O(1/n^2)$

論文の概要: Stability and Sharper Risk Bounds with Convergence Rate $O(1/n^2)$

arxiv url: http://arxiv.org/abs/2410.09766v1
Date: Sun, 13 Oct 2024 07:50:47 GMT
ステータス: 処理完了
システム内更新日: 2024-10-30 05:02:48.418487
Title: Stability and Sharper Risk Bounds with Convergence Rate $O(1/n^2)$
Title（参考訳）: 収束率$O(1/n^2)$の安定性とシャーパリスク境界
Authors: Bowei Zhu, Shaojie Li, Yong Liu,
Abstract要約: 最も鋭い高確率過剰リスク境界は、経験的リスク最小化とアルゴリズム安定性による投射降下のために最大$Oleft(1/nright)$である。
参考スコア（独自算出の注目度）: 23.380477456114118
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The sharpest known high probability excess risk bounds are up to $O\left( 1/n \right)$ for empirical risk minimization and projected gradient descent via algorithmic stability (Klochkov \& Zhivotovskiy, 2021). In this paper, we show that high probability excess risk bounds of order up to $O\left( 1/n^2 \right)$ are possible. We discuss how high probability excess risk bounds reach $O\left( 1/n^2 \right)$ under strongly convexity, smoothness and Lipschitz continuity assumptions for empirical risk minimization, projected gradient descent and stochastic gradient descent. Besides, to the best of our knowledge, our high probability results on the generalization gap measured by gradients for nonconvex problems are also the sharpest.
Abstract（参考訳）: 最も周知な高確率過剰リスク境界は、経験的リスク最小化とアルゴリズム安定性による勾配勾配降下のために最大$O\left(1/n \right)$である(Klochkov \& Zhivotovskiy, 2021)。本稿では,高い確率過剰リスク境界が$O\left(1/n^2 \right)$まで可能であることを示す。実験的リスク最小化, 射影勾配降下, 確率勾配降下に対する強い凸性, 滑らか性, リプシッツ連続性仮定の下で, 高確率過剰リスク境界が$O\left(1/n^2 \right)$にどの程度達するかを論じる。さらに、我々の知る限り、非凸問題に対する勾配によって測定される一般化ギャップに関する高い確率も最も鋭い。

関連論文リスト

Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression [19.31269916674961]
実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
論文参考訳（メタデータ） (2023-10-19T03:21:28Z)
Risk Estimation in a Markov Cost Process: Lower and Upper Bounds [3.1484174280822845]
我々はマルコフコストプロセスにおいて、無限水平割引コストのリスク対策を推定する問題に取り組む。私たちが調査するリスク尺度には、分散、バリュー・アット・リスク(VaR)、条件付きバリュー・アット・リスク(CVaR)がある。
論文参考訳（メタデータ） (2023-10-17T16:35:39Z)
Regret Distribution in Stochastic Bandits: Optimal Trade-off between Expectation and Tail Risk [22.843623578307707]
我々は,多武装バンディット問題における後悔分布の予測とテールリスクのトレードオフについて検討した。予測された後悔の順序が、最悪のケースとインスタンスに依存したシナリオの両方において、後悔の尾確率の減衰率にどのように影響するかを示す。
論文参考訳（メタデータ） (2023-04-10T01:00:18Z)
Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文参考訳（メタデータ） (2022-11-29T18:38:40Z)
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文参考訳（メタデータ） (2022-04-06T13:50:33Z)
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文参考訳（メタデータ） (2021-06-28T00:17:01Z)
Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$ [4.1499725848998965]
経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。 O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
論文参考訳（メタデータ） (2021-03-22T17:28:40Z)
Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文参考訳（メタデータ） (2020-06-29T21:06:52Z)
Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret [115.85354306623368]
本研究では,未知の遷移カーネルを持つマルコフ決定過程におけるリスク感応性強化学習について検討する。確率的に効率的なモデルレスアルゴリズムとして、リスク感性価値反復(RSVI)とリスク感性Q-ラーニング(RSQ)を提案する。 RSVIが $tildeObig(lambda(|beta| H2) cdot sqrtH3 S2AT big) に達したことを証明しています。
論文参考訳（メタデータ） (2020-06-22T19:28:26Z)
A Brief Prehistory of Double Descent [75.37825440319975]
Belkin et al. は、現代の複雑度学習者の文脈におけるリスク曲線の形状を説明し、議論する。 N$が増加すると、リスクは最初減少し、最小値に達した後、N$が$n$に等しいまで増加し、トレーニングデータが完全に適合する。
論文参考訳（メタデータ） (2020-04-07T09:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。