論文の概要: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-norm Linear Regression

• arxiv url: http://arxiv.org/abs/2310.12437v1
• Date: Thu, 19 Oct 2023 03:21:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 17:17:43.054164
• Title: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-norm Linear Regression
• Title（参考訳）: p$-norm線形回帰による経験的リスク最小化のための最適リスク境界
• Authors: Ayoub El Hanchi, Murat A. Erdogdu
• Abstract要約: 実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。 この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
• 参考スコア（独自算出の注目度）: 22.815395681447416
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the performance of empirical risk minimization on the $p$-norm linear regression problem for $p \in (1, \infty)$. We show that, in the realizable case, under no moment assumptions, and up to a distribution-dependent constant, $O(d)$ samples are enough to exactly recover the target. Otherwise, for $p \in [2, \infty)$, and under weak moment assumptions on the target and the covariates, we prove a high probability excess risk bound on the empirical risk minimizer whose leading term matches, up to a constant that depends only on $p$, the asymptotically exact rate. We extend this result to the case $p \in (1, 2)$ under mild assumptions that guarantee the existence of the Hessian of the risk at its minimizer.
• Abstract（参考訳）: 我々は、$p \in (1, \infty)$に対する$p$-norm線形回帰問題に対する経験的リスク最小化の性能について検討する。 実現可能な場合、モーメント仮定が全くなく、分布依存定数まで、$O(d)$サンプルはターゲットを正確に回収するのに十分であることを示す。 さもなければ、$p \in [2, \infty)$ とターゲットと共変量に対する弱モーメント仮定の下では、先行項が一致する経験的リスク最小化器に縛られる高い確率過剰リスクを、漸近的に正確なレートである$p$にのみ依存する定数まで証明する。 この結果は、リスクの最小化におけるヘッシアンの存在を保証する穏やかな仮定の下で、$p \in (1, 2)$というケースに拡張する。

関連論文リスト

• Stability and Sharper Risk Bounds with Convergence Rate $O(1/n^2)$ [23.380477456114118]
  最も鋭い高確率過剰リスク境界は、経験的リスク最小化とアルゴリズム安定性による投射降下のために最大$Oleft(1/nright)$である。
  論文  参考訳（メタデータ） (2024-10-13T07:50:47Z)
• Risk Estimation in a Markov Cost Process: Lower and Upper Bounds [3.1484174280822845]
  我々はマルコフコストプロセスにおいて、無限水平割引コストのリスク対策を推定する問題に取り組む。 私たちが調査するリスク尺度には、分散、バリュー・アット・リスク(VaR)、条件付きバリュー・アット・リスク(CVaR)がある。
  論文  参考訳（メタデータ） (2023-10-17T16:35:39Z)
• On Regression in Extreme Regions [1.0338669373504403]
  この論文は、極端(すなわち非常に大きい)の観測の場合、$X$に焦点をあてる。 その希少さのため、そのような観測結果の(経験的な)誤りへの寄与は無視できない。 この「極度のリスク」の実証的かつ非漸近的なバージョンは、最も大きな観測のごく一部に基づいて、優れた一般化能力が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-06T12:55:38Z)
• Near-Minimax-Optimal Risk-Sensitive Reinforcement Learning with CVaR [58.40575099910538]
  本研究は,リスク許容度が$tau$のCVaR(Conditional Value at Risk)の目的に着目し,リスクに敏感な強化学習(RL)について検討する。 ミニマックスCVaRの後悔率は$Omega(sqrttau-1AK)$で、$A$はアクションの数、$K$はエピソード数である。 我々は,このアルゴリズムが連続性仮定の下で$widetilde O(tau-1sqrtSAK)$の最適後悔を達成し,一般に近似することを示す。
  論文  参考訳（メタデータ） (2023-02-07T02:22:31Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$ [4.1499725848998965]
  経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。 O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
  論文  参考訳（メタデータ） (2021-03-22T17:28:40Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret [115.85354306623368]
  本研究では,未知の遷移カーネルを持つマルコフ決定過程におけるリスク感応性強化学習について検討する。 確率的に効率的なモデルレスアルゴリズムとして、リスク感性価値反復(RSVI)とリスク感性Q-ラーニング(RSQ)を提案する。 RSVIが $tildeObig(lambda(|beta| H2) cdot sqrtH3 S2AT big) に達したことを証明しています。
  論文  参考訳（メタデータ） (2020-06-22T19:28:26Z)
• Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model [0.0]
  パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
  論文  参考訳（メタデータ） (2019-12-31T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。