論文の概要: Weighted Empirical Risk Minimization: Sample Selection Bias Correction
based on Importance Sampling
- arxiv url: http://arxiv.org/abs/2002.05145v2
- Date: Wed, 19 Feb 2020 15:50:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 19:20:27.818951
- Title: Weighted Empirical Risk Minimization: Sample Selection Bias Correction
based on Importance Sampling
- Title（参考訳）: 重み付き経験的リスク最小化:重要度サンプリングに基づくサンプル選択バイアス補正
- Authors: Robin Vogel, Mastane Achab, St\'ephan Cl\'emen\c{c}on, Charles Tillier
- Abstract要約: トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。
実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。
次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
- 参考スコア（独自算出の注目度）: 2.599882743586164
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider statistical learning problems, when the distribution $P'$ of the
training observations $Z'_1,\; \ldots,\; Z'_n$ differs from the distribution
$P$ involved in the risk one seeks to minimize (referred to as the test
distribution) but is still defined on the same measurable space as $P$ and
dominates it. In the unrealistic case where the likelihood ratio
$\Phi(z)=dP/dP'(z)$ is known, one may straightforwardly extends the Empirical
Risk Minimization (ERM) approach to this specific transfer learning setup using
the same idea as that behind Importance Sampling, by minimizing a weighted
version of the empirical risk functional computed from the 'biased' training
data $Z'_i$ with weights $\Phi(Z'_i)$. Although the importance function
$\Phi(z)$ is generally unknown in practice, we show that, in various situations
frequently encountered in practice, it takes a simple form and can be directly
estimated from the $Z'_i$'s and some auxiliary information on the statistical
population $P$. By means of linearization techniques, we then prove that the
generalization capacity of the approach aforementioned is preserved when
plugging the resulting estimates of the $\Phi(Z'_i)$'s into the weighted
empirical risk. Beyond these theoretical guarantees, numerical results provide
strong empirical evidence of the relevance of the approach promoted in this
article.
- Abstract（参考訳）: 統計的学習問題を考えると、トレーニング観測の分布の$P'$が$Z'_1,\; \ldots,\; Z'_n$は、最小化しようとする(テスト分布として参照)リスクの分布の$P$とは異なるが、それでも$P$と同じ測定可能な空間で定義され、それを支配している。
確率比$\Phi(z)=dP/dP'(z)$が知られている非現実的な場合、重み付きトレーニングデータ$Z'_i$から計算された経験的リスク関数の重み付きバージョンを最小化することで、Importance Smplingの背景にあるものと同じアイデアを用いて、この特定の移行学習設定に対して経験的リスク最小化(ERM)アプローチを直接拡張することができる。
重要度関数 $\phi(z)$ は一般には知られていないが、様々な状況において実際に頻繁に遭遇するが、単純な形式であり、統計値 $z'_i$ と統計値 $p$ の補助情報から直接推定できる。
線形化手法により、上記のアプローチの一般化能力は、重み付けされた経験的リスクに$\Phi(Z'_i)$'sの計算結果を埋め込む際に保存されることを示す。
これらの理論的な保証を超えて、数値的な結果は本論文で推進されたアプローチの関連性の強い実証的証拠を提供する。
関連論文リスト
- Equivalence of the Empirical Risk Minimization to Regularization on the
Family of f-Divergences [49.853843995972085]
経験的リスク最小化の解決策として、$f$-divergence regularization (ERM-$f$DR) を挙げる。
関数の特定の選択に対する解の例は、$f$である。
論文 参考訳（メタデータ） (2024-02-01T11:12:00Z) - Online non-parametric likelihood-ratio estimation by Pearson-divergence
functional minimization [55.98760097296213]
iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。
本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
論文 参考訳（メタデータ） (2023-11-03T13:20:11Z) - Optimal Excess Risk Bounds for Empirical Risk Minimization on $p$-Norm Linear Regression [19.31269916674961]
実現可能な場合、即時仮定では、$O(d)$サンプルはターゲットを正確に回復するのに十分であることを示す。
この結果は、 (1, 2)$) の場合、最小化子におけるリスクのヘッセンの存在を保証する穏やかな仮定の下で、$p in (1, 2)$ に拡張する。
論文 参考訳（メタデータ） (2023-10-19T03:21:28Z) - On Regression in Extreme Regions [1.0338669373504403]
この論文は、極端(すなわち非常に大きい)の観測の場合、$X$に焦点をあてる。
その希少さのため、そのような観測結果の(経験的な)誤りへの寄与は無視できない。
この「極度のリスク」の実証的かつ非漸近的なバージョンは、最も大きな観測のごく一部に基づいて、優れた一般化能力が得られることを示す。
論文 参考訳（メタデータ） (2023-03-06T12:55:38Z) - On the Provable Advantage of Unsupervised Pretraining [26.065736182939222]
教師なし事前学習は、現代の大規模機械学習システムにおいて重要な要素である。
本稿では、教師なし表現学習タスクを潜在変数モデルの抽象クラスで指定する汎用フレームワークについて検討する。
軽度の'informative'条件下では、下流タスクに対して$tildemathcalO(sqrtmathcalC_Phi/m + sqrtmathcalC_Psi/n)$の過剰なリスクを達成する。
論文 参考訳（メタデータ） (2023-03-02T20:42:05Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - A Statistical Learning View of Simple Kriging [0.0]
統計的学習の観点から,簡単なKrigingタスクを解析する。
目標は、最小2次リスクで他の場所にある未知の値を予測することである。
我々は、真の最小化を模倣するプラグイン予測則の過剰なリスクに対して、$O_mathbbP (1/sqrtn)$の非漸近境界を証明した。
論文 参考訳（メタデータ） (2022-02-15T12:46:43Z) - SLOE: A Faster Method for Statistical Inference in High-Dimensional
Logistic Regression [68.66245730450915]
実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。
私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
論文 参考訳（メタデータ） (2021-03-23T17:48:56Z) - Distributional Reinforcement Learning via Moment Matching [54.16108052278444]
ニューラルネットワークを用いて各戻り分布から統計量の有限集合を学習する手法を定式化する。
我々の手法は、戻り分布とベルマン目標の間のモーメントの全ての順序を暗黙的に一致させるものとして解釈できる。
Atariゲームスイートの実験により,本手法は標準分布RLベースラインよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-07-24T05:18:17Z) - Sharp Statistical Guarantees for Adversarially Robust Gaussian
Classification [54.22421582955454]
逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。
結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
論文 参考訳（メタデータ） (2020-06-29T21:06:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。