論文の概要: On Misspecification in Prediction Problems and Robustness via Improper
Learning
- arxiv url: http://arxiv.org/abs/2101.05234v2
- Date: Fri, 29 Jan 2021 21:34:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 08:06:20.329389
- Title: On Misspecification in Prediction Problems and Robustness via Improper
Learning
- Title(参考訳): 不適切な学習による予測問題の誤特定と頑健性について
- Authors: Annie Marsden, John Duchi, Gregory Valiant
- Abstract要約: 広い種類の損失関数とパラメトリック分布の族に対して、"プロパ"予測子をプレイしたことの後悔は、少なくとも$sqrtgamma n$として境界スケーリングを下げていることが示される。
パラメトリックファミリーの凸体で分布を再生する可能性のあるすべての学習者の家族にしても、これは改善できない例を示します。
- 参考スコア(独自算出の注目度): 23.64462813525688
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study probabilistic prediction games when the underlying model is
misspecified, investigating the consequences of predicting using an incorrect
parametric model. We show that for a broad class of loss functions and
parametric families of distributions, the regret of playing a "proper"
predictor -- one from the putative model class -- relative to the best
predictor in the same model class has lower bound scaling at least as
$\sqrt{\gamma n}$, where $\gamma$ is a measure of the model misspecification to
the true distribution in terms of total variation distance. In contrast, using
an aggregation-based (improper) learner, one can obtain regret $d \log n$ for
any underlying generating distribution, where $d$ is the dimension of the
parameter; we exhibit instances in which this is unimprovable even over the
family of all learners that may play distributions in the convex hull of the
parametric family. These results suggest that simple strategies for aggregating
multiple learners together should be more robust, and several experiments
conform to this hypothesis.
- Abstract(参考訳): 基礎モデルが誤特定された場合の確率的予測ゲームについて検討し,不正確なパラメトリックモデルを用いた予測結果について検討した。
損失関数や分布のパラメトリックな族に対して、同じモデルクラスの最高の予測器と比較して「適切な」予測器を演奏したことの後悔は、少なくとも$\sqrt{\gamma n}$ よりも低い有界スケーリングを持ち、$\gamma$ はモデルが全変動距離において真の分布に不比例する尺度であることを示す。
対照的に、アグリゲーションベース(improper)学習者を用いて、$d$がパラメータの次元である任意の基底生成分布に対して、後悔のあった$d \log n$を得ることができる。
これらの結果は、複数の学習者を統合するための単純な戦略がより堅牢で、いくつかの実験がこの仮説に合致することを示唆している。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳(メタデータ) (2023-09-02T01:27:53Z) - A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
本稿では,確率変数の尾を解析するための体系的アプローチを提案する。
本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。
実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
論文 参考訳(メタデータ) (2023-06-15T16:37:36Z) - Conformal Nucleus Sampling [67.5232384936661]
最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。
OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
論文 参考訳(メタデータ) (2023-05-04T08:11:57Z) - Performative Prediction with Neural Networks [22.66295224352892]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。
繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。
この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文 参考訳(メタデータ) (2023-04-14T01:12:48Z) - On counterfactual inference with unobserved confounding [36.18241676876348]
独立だが不均一な単位を持つ観測的研究を前提として、各単位の反実分布を学習することが目的である。
我々は、すべての$n$サンプルをプールして、すべての$n$パラメータベクトルを共同で学習する凸目的を導入する。
対数的ソボレフ不等式を満たすためにコンパクトに支持された分布に対して十分な条件を導出する。
論文 参考訳(メタデータ) (2022-11-14T04:14:37Z) - Convergence for score-based generative modeling with polynomial
complexity [9.953088581242845]
我々は、Scoreベースの生成モデルの背後にあるコアメカニックに対する最初の収束保証を証明した。
以前の作品と比較すると、時間的に指数関数的に増加するエラーや、次元の呪いに苦しむエラーは発生しない。
予測器・相関器はどちらの部分のみを使用するよりも収束性が高いことを示す。
論文 参考訳(メタデータ) (2022-06-13T14:57:35Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。