論文の概要: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-norm
Linear Regression
- arxiv url: http://arxiv.org/abs/2310.12437v1
- Date: Thu, 19 Oct 2023 03:21:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-20 17:17:43.054164
- Title: Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-norm
Linear Regression
- Title(参考訳): p$-norm線形回帰による経験的リスク最小化のための最適リスク境界
- Authors: Ayoub El Hanchi, Murat A. Erdogdu
- Abstract要約: 実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。
この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
- 参考スコア(独自算出の注目度): 22.815395681447416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the performance of empirical risk minimization on the $p$-norm
linear regression problem for $p \in (1, \infty)$. We show that, in the
realizable case, under no moment assumptions, and up to a
distribution-dependent constant, $O(d)$ samples are enough to exactly recover
the target. Otherwise, for $p \in [2, \infty)$, and under weak moment
assumptions on the target and the covariates, we prove a high probability
excess risk bound on the empirical risk minimizer whose leading term matches,
up to a constant that depends only on $p$, the asymptotically exact rate. We
extend this result to the case $p \in (1, 2)$ under mild assumptions that
guarantee the existence of the Hessian of the risk at its minimizer.
- Abstract(参考訳): 我々は、$p \in (1, \infty)$に対する$p$-norm線形回帰問題に対する経験的リスク最小化の性能について検討する。
実現可能な場合、モーメント仮定が全くなく、分布依存定数まで、$O(d)$サンプルはターゲットを正確に回収するのに十分であることを示す。
さもなければ、$p \in [2, \infty)$ とターゲットと共変量に対する弱モーメント仮定の下では、先行項が一致する経験的リスク最小化器に縛られる高い確率過剰リスクを、漸近的に正確なレートである$p$にのみ依存する定数まで証明する。
この結果は、リスクの最小化におけるヘッシアンの存在を保証する穏やかな仮定の下で、$p \in (1, 2)$というケースに拡張する。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳(メタデータ) (2024-02-01T11:12:00Z) - VaR\ and CVaR Estimation in a Markov Cost Process: Lower and Upper
Bounds [11.626205435494743]
本稿では,マルコフコストプロセスにおいて,無限水平割引コストの値-at-Risk (VaR) と条件値-at-Risk (CVaR) を推定する問題に取り組む。
マルコフ設定内の任意のリスク尺度に対する推定誤差について、下限と上限を提供する。
論文 参考訳(メタデータ) (2023-10-17T16:35:39Z) - On Regression in Extreme Regions [1.6734018640023431]
極端(すなわち非常に大きな)観測の場合、特別な注意が払われる。
希少性のため、それらは(経験的な)誤りに対して無視できる方法で寄与する。
与えられた$Y$の条件分布は、重み付き確率分布の非パラメトリック類に属すると仮定される。
論文 参考訳(メタデータ) (2023-03-06T12:55:38Z) - Estimating the minimizer and the minimum value of a regression function
under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文 参考訳(メタデータ) (2022-11-29T18:38:40Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳(メタデータ) (2022-05-25T17:41:40Z) - Stability and Deviation Optimal Risk Bounds with Convergence Rate
$O(1/n)$ [4.1499725848998965]
経験的リスク最小化法で有効な強く凸およびLipschitz損失に対する$O(log n/n)$の確率に拘束される高い確率過剰リスクを示す。
O(log n/n)$ 高確率過剰リスク境界が、通常の滑らかさの仮定なしで強い凸やリプシッツ損失の場合の射影勾配降下に対してどのように可能かについて論じる。
論文 参考訳(メタデータ) (2021-03-22T17:28:40Z) - PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified
Bayesian Regime [75.19403612525811]
この研究は、2つのリスク間のトレードオフを分散することでギャップを埋めることのできるマルチサンプル損失を開発する。
実証的研究は予測分布の改善を示す。
論文 参考訳(メタデータ) (2020-10-19T16:08:34Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳(メタデータ) (2020-06-29T21:06:52Z) - Risk-Sensitive Reinforcement Learning: Near-Optimal Risk-Sample Tradeoff
in Regret [115.85354306623368]
本研究では,未知の遷移カーネルを持つマルコフ決定過程におけるリスク感応性強化学習について検討する。
確率的に効率的なモデルレスアルゴリズムとして、リスク感性価値反復(RSVI)とリスク感性Q-ラーニング(RSQ)を提案する。
RSVIが $tildeObig(lambda(|beta| H2) cdot sqrtH3 S2AT big) に達したことを証明しています。
論文 参考訳(メタデータ) (2020-06-22T19:28:26Z) - Weighted Empirical Risk Minimization: Sample Selection Bias Correction
based on Importance Sampling [2.599882743586164]
トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。
実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。
次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
論文 参考訳(メタデータ) (2020-02-12T18:42:47Z) - Risk of the Least Squares Minimum Norm Estimator under the Spike
Covariance Model [0.0]
パラメータ数$d$が$n$と$fracdn rightarrow infty$に依存するとき、最小ノルム最小二乗推定子のリスクを研究する。
この設定では、最小ノルム最小二乗推定器のリスクは、ヌル推定器のリスクと比較して消える。
論文 参考訳(メタデータ) (2019-12-31T16:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。