論文の概要: On Regression in Extreme Regions
- arxiv url: http://arxiv.org/abs/2303.03084v1
- Date: Mon, 6 Mar 2023 12:55:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 16:15:18.610145
- Title: On Regression in Extreme Regions
- Title（参考訳）: 極端領域の回帰について
- Authors: Nathan Huet, Stephan Cl\'emen\c{c}on, Anne Sabourin
- Abstract要約: 極端(すなわち非常に大きな)観測の場合、特別な注意が払われる。
希少性のため、それらは(経験的な)誤りに対して無視できる方法で寄与する。
与えられた$Y$の条件分布は、重み付き確率分布の非パラメトリック類に属すると仮定される。
- 参考スコア（独自算出の注目度）: 1.6734018640023431
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the classic regression problem, the value of a real-valued random variable
$Y$ is to be predicted based on the observation of a random vector $X$, taking
its values in $\mathbb{R}^d$ with $d\geq 1$ say. The statistical learning
problem consists in building a predictive function $\hat{f}:\mathbb{R}^d\to
\mathbb{R}$ based on independent copies of the pair $(X,Y)$ so that $Y$ is
approximated by $\hat{f}(X)$ with minimum error in the mean-squared sense.
Motivated by various applications, ranging from environmental sciences to
finance or insurance, special attention is paid here to the case of extreme
(i.e. very large) observations $X$. Because of their rarity, they contribute in
a negligible manner to the (empirical) error and the predictive performance of
empirical quadratic risk minimizers can be consequently very poor in extreme
regions. In this paper, we develop a general framework for regression in the
extremes. It is assumed that $X$'s conditional distribution given $Y$ belongs
to a non parametric class of heavy-tailed probability distributions. It is then
shown that an asymptotic notion of risk can be tailored to summarize
appropriately predictive performance in extreme regions of the input space. It
is also proved that minimization of an empirical and non asymptotic version of
this 'extreme risk', based on a fraction of the largest observations solely,
yields regression functions with good generalization capacity. In addition,
numerical results providing strong empirical evidence of the relevance of the
approach proposed are displayed.
- Abstract（参考訳）: 古典的な回帰問題では、実数値確率変数 $y$ の値は、確率ベクトル $x$ の観測に基づいて予測され、その値は $d\geq 1$ say で$\mathbb{r}^d$ となる。
統計学習問題は、ペア $(x,y)$ の独立コピーに基づく予測関数 $\hat{f}:\mathbb{r}^d\to \mathbb{r}$ を構築することにより、y$ は平均二乗意味で最小誤差で$\hat{f}(x)$ に近似される。
環境科学から金融や保険まで、様々な応用によって動機づけられ、ここでは極端な(すなわち非常に大きな)観察結果に対して特別な注意が払われる。
その希少性のため、(経験的)エラーに対して無視可能な方法で寄与し、経験的二次リスク最小化器の予測性能は、極端な地域では非常に貧弱である。
本稿では,極域における回帰の一般的な枠組みを開発する。
y$ が与えられる x$ の条件分布は、重み付き確率分布の非パラメトリッククラスに属すると仮定される。
次に,入力空間の極端領域における予測性能を適切に要約するために,リスクの漸近的概念を調整可能であることを示す。
また、この「極度リスク」の経験的かつ非漸近的なバージョンの最小化は、最も大きな観測のごく一部に基づいて、優れた一般化能力を持つ回帰関数を生成することも証明されている。
また、提案手法の妥当性に関する強い実証的証拠を提供する数値結果を表示する。
関連論文リスト
- Nonparametric logistic regression with deep learning [1.2509746979383698]
非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。
余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。
重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
論文 参考訳（メタデータ） (2024-01-23T04:31:49Z) - Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression [19.31269916674961]
実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。
この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
論文 参考訳（メタデータ） (2023-10-19T03:21:28Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T15:25:48Z) - Mitigating multiple descents: A model-agnostic framework for risk
monotonization [84.6382406922369]
クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。
本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T17:41:40Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Iterative Feature Matching: Toward Provable Domain Generalization with
Logarithmic Environments [55.24895403089543]
ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。
我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-18T04:39:19Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z) - Error bounds in estimating the out-of-sample prediction error using
leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。
広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。
この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文 参考訳（メタデータ） (2020-03-03T20:07:07Z) - Weighted Empirical Risk Minimization: Sample Selection Bias Correction
based on Importance Sampling [2.599882743586164]
トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。
実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。
次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
論文 参考訳（メタデータ） (2020-02-12T18:42:47Z) - Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。
主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
論文 参考訳（メタデータ） (2020-02-06T22:08:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。