論文の概要: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression

• arxiv url: http://arxiv.org/abs/2310.12437v2
• Date: Mon, 17 Jun 2024 22:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-20 05:04:09.882827
• Title: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression
• Title（参考訳）: p$-norm線形回帰による経験的リスク最小化のための最適リスク境界
• Authors: Ayoub El Hanchi, Murat A. Erdogdu,
• Abstract要約: 実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。 この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
• 参考スコア（独自算出の注目度）: 19.31269916674961
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the performance of empirical risk minimization on the $p$-norm linear regression problem for $p \in (1, \infty)$. We show that, in the realizable case, under no moment assumptions, and up to a distribution-dependent constant, $O(d)$ samples are enough to exactly recover the target. Otherwise, for $p \in [2, \infty)$, and under weak moment assumptions on the target and the covariates, we prove a high probability excess risk bound on the empirical risk minimizer whose leading term matches, up to a constant that depends only on $p$, the asymptotically exact rate. We extend this result to the case $p \in (1, 2)$ under mild assumptions that guarantee the existence of the Hessian of the risk at its minimizer.
• Abstract（参考訳）: 我々は、$p \in (1, \infty)$に対する$p$-norm線形回帰問題に対する経験的リスク最小化の性能について検討する。 実現可能な場合、モーメント仮定が全くなく、分布依存定数まで、$O(d)$サンプルはターゲットを正確に回収するのに十分であることを示す。 さもなければ、$p \in [2, \infty)$ と、ターゲットと共変量に対する弱モーメント仮定の下では、先行項が一致する経験的リスク最小化子に縛られる高い確率過剰リスクを、漸近的に正確な率である$p$にのみ依存する定数まで証明する。 この結果は、最小化子におけるリスクのヘッセンの存在を保証する軽度の仮定の下で、$p \in (1, 2)$ の場合に拡張する。

関連論文リスト

• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [49.853843995972085]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Risk Estimation in a Markov Cost Process: Lower and Upper Bounds [3.1484174280822845]
  我々はマルコフコストプロセスにおいて、無限水平割引コストのリスク対策を推定する問題に取り組む。 私たちが調査するリスク尺度には、分散、バリュー・アット・リスク(VaR)、条件付きバリュー・アット・リスク(CVaR)がある。
  論文  参考訳（メタデータ） (2023-10-17T16:35:39Z)
• On Regression in Extreme Regions [1.0338669373504403]
  この論文は、極端(すなわち非常に大きい)の観測の場合、$X$に焦点をあてる。 その希少さのため、そのような観測結果の(経験的な)誤りへの寄与は無視できない。 この「極度のリスク」の実証的かつ非漸近的なバージョンは、最も大きな観測のごく一部に基づいて、優れた一般化能力が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-06T12:55:38Z)
• Near-Minimax-Optimal Risk-Sensitive Reinforcement Learning with CVaR [58.40575099910538]
  本研究は,リスク許容度が$tau$のCVaR(Conditional Value at Risk)の目的に着目し,リスクに敏感な強化学習(RL)について検討する。 ミニマックスCVaRの後悔率は$Omega(sqrttau-1AK)$で、$A$はアクションの数、$K$はエピソード数である。 我々は,このアルゴリズムが連続性仮定の下で$widetilde O(tau-1sqrtSAK)$の最適後悔を達成し,一般に近似することを示す。
  論文  参考訳（メタデータ） (2023-02-07T02:22:31Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Stability and Deviation Optimal Risk Bounds with Convergence Rate $O(1/n)$ [4.1499725848998965]
  経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。 O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
  論文  参考訳（メタデータ） (2021-03-22T17:28:40Z)
• PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime [75.19403612525811]
  この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。 実証的研究は予測分布の改善を示す。
  論文  参考訳（メタデータ） (2020-10-19T16:08:34Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff in Regret [115.85354306623368]
  本研究では,未知の遷移カーネルを持つマルコフ決定過程におけるリスク感応性強化学習について検討する。 確率的に効率的なモデルレスアルゴリズムとして、リスク感性価値反復(RSVI)とリスク感性Q-ラーニング(RSQ)を提案する。 RSVIが $tildeObig(lambda(|beta| H2) cdot sqrtH3 S2AT big) に達したことを証明しています。
  論文  参考訳（メタデータ） (2020-06-22T19:28:26Z)
• Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling [2.599882743586164]
  トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。 実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。 次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
  論文  参考訳（メタデータ） (2020-02-12T18:42:47Z)
• Risk of the Least Squares Minimum Norm Estimator under the Spike Covariance Model [0.0]
  パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。 この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
  論文  参考訳（メタデータ） (2019-12-31T16:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。