論文の概要: On Regression in Extreme Regions

• arxiv url: http://arxiv.org/abs/2303.03084v2
• Date: Wed, 10 Apr 2024 14:52:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 19:55:03.959422
• Title: On Regression in Extreme Regions
• Title（参考訳）: 極端領域における回帰について
• Authors: Nathan Huet, Stephan Clémençon, Anne Sabourin,
• Abstract要約: この論文は、極端(すなわち非常に大きい)の観測の場合、$X$に焦点をあてる。 その希少さのため、そのような観測結果の(経験的な)誤りへの寄与は無視できない。 この「極度のリスク」の実証的かつ非漸近的なバージョンは、最も大きな観測のごく一部に基づいて、優れた一般化能力が得られることを示す。
• 参考スコア（独自算出の注目度）: 1.0338669373504403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The statistical learning problem consists in building a predictive function $\hat{f}$ based on independent copies of $(X,Y)$ so that $Y$ is approximated by $\hat{f}(X)$ with minimum (squared) error. Motivated by various applications, special attention is paid here to the case of extreme (i.e. very large) observations $X$. Because of their rarity, the contributions of such observations to the (empirical) error is negligible, and the predictive performance of empirical risk minimizers can be consequently very poor in extreme regions. In this paper, we develop a general framework for regression on extremes. Under appropriate regular variation assumptions regarding the pair $(X,Y)$, we show that an asymptotic notion of risk can be tailored to summarize appropriately predictive performance in extreme regions. It is also proved that minimization of an empirical and nonasymptotic version of this 'extreme risk', based on a fraction of the largest observations solely, yields good generalization capacity. In addition, numerical results providing strong empirical evidence of the relevance of the approach proposed are displayed.
• Abstract（参考訳）: 統計的学習問題は、$(X,Y)$の独立コピーに基づいて予測関数$\hat{f}$を構築することで、$Y$を最小(二乗)誤差で$\hat{f}(X)$で近似する。 様々な応用によって動機付けられた特別な注意は、極端な(すなわち非常に大きな)観測の場合、$X$である。 それらの希少性のため、(経験的)誤差に対するそのような観測の貢献は無視され、経験的リスク最小化器の予測性能は極端に低くなる可能性がある。 本稿では,極値の回帰のための一般的なフレームワークを開発する。 対 $(X,Y)$ に関する適切な正規変分仮定の下では、危険という漸近的な概念が極端領域における適切な予測性能を要約するように調整できることが示される。 また、この「極度のリスク」の経験的かつ非漸近的なバージョンの最小化は、最も大きな観測のごく一部に基づいて、優れた一般化能力をもたらすことが証明された。 また,提案手法の妥当性を実証的に裏付ける数値的な結果を示す。

関連論文リスト

• Equivalence of the Empirical Risk Minimization to Regularization on the Family of f-Divergences [49.853843995972085]
  経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。 関数の特定の選択に対する解の例は、$f$である。
  論文  参考訳（メタデータ） (2024-02-01T11:12:00Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression [19.31269916674961]
  実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。 この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
  論文  参考訳（メタデータ） (2023-10-19T03:21:28Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Error bounds in estimating the out-of-sample prediction error using leave-one-out cross validation in high-dimensions [19.439945058410203]
  高次元状態におけるサンプル外リスク推定の問題について検討する。 広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。 この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
  論文  参考訳（メタデータ） (2020-03-03T20:07:07Z)
• Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling [2.599882743586164]
  トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。 実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。 次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
  論文  参考訳（メタデータ） (2020-02-12T18:42:47Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。