論文の概要: Misspecification uncertainties in near-deterministic regression

• arxiv url: http://arxiv.org/abs/2402.01810v2
• Date: Tue, 9 Apr 2024 16:11:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 19:37:28.971987
• Title: Misspecification uncertainties in near-deterministic regression
• Title（参考訳）: 近決定論的回帰における相違不確かさ
• Authors: Thomas D Swinburne, Danny Perez,
• Abstract要約: 我々は,ほぼ決定論的,不特定,過度にパラメータ化された代理モデルの一般化誤差を解析した。 この制約を尊重するアンサンブルテクタンサッツを導出するために、後続分布が全ての訓練点をカバーする必要があることを示す。
• 参考スコア（独自算出の注目度）: 0.3069335774032178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The expected loss is an upper bound to the model generalization error which admits robust PAC-Bayes bounds for learning. However, loss minimization is known to ignore misspecification, where models cannot exactly reproduce observations. This leads to significant underestimates of parameter uncertainties in the large data, or underparameterized, limit. We analyze the generalization error of near-deterministic, misspecified and underparametrized surrogate models, a regime of broad relevance in science and engineering. We show posterior distributions must cover every training point to avoid a divergent generalization error and derive an ensemble \textit{ansatz} that respects this constraint, which for linear models incurs minimal overhead. The efficient approach is demonstrated on model problems before application to high dimensional datasets in atomistic machine learning. Parameter uncertainties from misspecification survive in the underparametrized limit, giving accurate prediction and bounding of test errors.
• Abstract（参考訳）: 期待損失は、学習のための堅牢なPAC-Bayes境界を持つモデル一般化誤差の上限である。 しかし、損失最小化は、モデルが正確に観測を再現できない不特定性を無視することが知られている。 これにより、大容量データにおけるパラメータの不確実性、すなわちパラメータのパラメータ化の限界が大幅に過小評価される。 本研究では, ほぼ決定論的, 不特定, 過パラメトリケートされたサロゲートモデルの一般化誤差を解析した。 この制約を尊重するアンサンブル \textit{ansatz} を導出するため、線形モデルでは最小限のオーバーヘッドが生じる。 原子論的機械学習における高次元データセットに適用する前に、モデル問題に対して効率的なアプローチが示される。 不特定性からのパラメータの不確実性は、過度なパラメータ化の限界に留まり、正確な予測とテストエラーのバウンディングをもたらす。

関連論文リスト

• Uncertainty Quantification of Surrogate Models using Conformal Prediction [7.445864392018774]
  我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。 本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
  論文  参考訳（メタデータ） (2024-08-19T10:46:19Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation [25.67258563807856]
  本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。 提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
  論文  参考訳（メタデータ） (2023-03-29T17:24:12Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• Data Uncertainty without Prediction Models [0.8223798883838329]
  予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。 距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
  論文  参考訳（メタデータ） (2022-04-25T13:26:06Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。