論文の概要: Misspecification uncertainties in near-deterministic regression
- arxiv url: http://arxiv.org/abs/2402.01810v1
- Date: Fri, 2 Feb 2024 11:41:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 01:53:50.681943
- Title: Misspecification uncertainties in near-deterministic regression
- Title(参考訳): 近決定的回帰における不確実性
- Authors: Thomas D Swinburne and Danny Perez
- Abstract要約: 我々は,ほぼ決定論的,不特定,過度にパラメータ化された代理モデルの一般化誤差を解析した。
この制約を尊重するアンサンブルアンサッツを導出するために、後続分布が全ての訓練点をカバーする必要があることを示す。
- 参考スコア(独自算出の注目度): 0.3626013617212667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The expected loss is an upper bound to the model generalization error which
admits robust PAC-Bayes bounds for learning. However, loss minimization is
known to ignore misspecification, where models cannot exactly reproduce
observations. This leads to significant underestimates of parameter
uncertainties in the large data, or underparameterized, limit. We analyze the
generalization error of near-deterministic, misspecified and underparametrized
surrogate models, a regime of broad relevance in science and engineering. We
show posterior distributions must cover every training point to avoid a
divergent generalization error and derive an ensemble {ansatz} that respects
this constraint, which for linear models incurs minimal overhead. The efficient
approach is demonstrated on model problems before application to high
dimensional datasets in atomistic machine learning. Parameter uncertainties
from misspecification survive in the underparametrized limit, giving accurate
prediction and bounding of test errors.
- Abstract(参考訳): 期待損失は、学習のための堅牢なPAC-Bayes境界を持つモデル一般化誤差の上限である。
しかし、損失最小化は、モデルが正確に観測を再現できない不特定性を無視することが知られている。
これにより、大規模なデータやパラメータ不足のリミットにおいて、パラメータの不確実性が著しく過小評価される。
本研究では, ほぼ決定論的, 不特定, 過度にパラメータ化された代理モデルの一般化誤差を解析した。
後方分布は、発散した一般化誤差を避けるためにすべてのトレーニングポイントをカバーする必要があり、この制約を尊重するアンサンブル {ansatz} を導出しなければならない。
原子論的機械学習における高次元データセットに適用する前に、モデル問題に対して効率的なアプローチが示される。
誤特定によるパラメータの不確実性は、過度なパラメータ化限界に留まり、正確な予測とテストエラーのバウンディングをもたらす。
関連論文リスト
- A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - High-dimensional Measurement Error Models for Lipschitz Loss [2.6415509201394283]
リプシッツ損失関数のクラスに対する高次元計測誤差モデルを開発する。
我々の推定器は、適切な実現可能な集合に属するすべての推定器の中で、$L_1$ノルムを最小化するように設計されている。
有限標本統計誤差境界と符号の整合性の観点から理論的な保証を導出する。
論文 参考訳(メタデータ) (2022-10-26T20:06:05Z) - Data Uncertainty without Prediction Models [0.8223798883838329]
予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。
距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
論文 参考訳(メタデータ) (2022-04-25T13:26:06Z) - Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。
損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。
線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文 参考訳(メタデータ) (2022-02-11T16:22:08Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳(メタデータ) (2021-06-15T18:34:41Z) - Minimum Excess Risk in Bayesian Learning [23.681494934015927]
最小超過リスク(mer)の定義と上限化により,生成モデルの下でベイズ学習の達成可能な最高の性能を解析する。
MERの定義は、ベイズ学習における不確実性の異なる概念を定義する原則的な方法を提供する。
論文 参考訳(メタデータ) (2020-12-29T17:41:30Z) - Partial Identifiability in Discrete Data With Measurement Error [16.421318211327314]
我々は、疑わしい前提の下で正確な識別を追求するよりも、妥当な仮定の下で境界を提示することが好ましいことを示す。
我々は線形プログラミング手法を用いて,実測誤差と実測誤差に対する鋭い境界を導出する。
論文 参考訳(メタデータ) (2020-12-23T02:11:08Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳(メタデータ) (2020-07-21T08:18:06Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳(メタデータ) (2020-06-22T21:12:31Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。