論文の概要: Parameter uncertainties for imperfect surrogate models in the low-noise regime

• arxiv url: http://arxiv.org/abs/2402.01810v3
• Date: Tue, 7 May 2024 08:03:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 19:34:38.644470
• Title: Parameter uncertainties for imperfect surrogate models in the low-noise regime
• Title（参考訳）: 低雑音状態における不完全代理モデルのパラメータ不確かさ
• Authors: Thomas D Swinburne, Danny Perez,
• Abstract要約: 我々は、不特定、ほぼ決定論的シュロゲートモデルの一般化誤差を解析する。 遅れた一般化誤差を避けるために、後続分布が全ての訓練点をカバーする必要があることを示す。 これは、原子論的機械学習における1000次元データセットに適用する前に、モデル問題で実証される。
• 参考スコア（独自算出の注目度）: 0.3069335774032178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian regression determines model parameters by minimizing the expected loss, an upper bound to the true generalization error. However, the loss ignores misspecification, where models are imperfect. Parameter uncertainties from Bayesian regression are thus significantly underestimated and vanish in the large data limit. This is particularly problematic when building models of low- noise, or near-deterministic, calculations, as the main source of uncertainty is neglected. We analyze the generalization error of misspecified, near-deterministic surrogate models, a regime of broad relevance in science and engineering. We show posterior distributions must cover every training point to avoid a divergent generalization error and design an ansatz that respects this constraint, which for linear models incurs minimal overhead. This is demonstrated on model problems before application to thousand dimensional datasets in atomistic machine learning. Our efficient misspecification-aware scheme gives accurate prediction and bounding of test errors where existing schemes fail, allowing this important source of uncertainty to be incorporated in computational workflows.
• Abstract（参考訳）: ベイズ回帰は、真の一般化誤差に対する上限である期待損失を最小化することでモデルパラメータを決定する。 しかし、この損失はモデルが不完全である不特定性を無視している。 したがって、ベイズ回帰からのパラメータの不確実性は、大きなデータ限界において著しく過小評価され、消滅する。 これは、不確実性の主な原因が無視されているため、低ノイズまたはほぼ決定論的な計算モデルを構築する場合に特に問題となる。 我々は、科学と工学における幅広い関係の体制である、不特定、ほぼ決定論的サロゲートモデルの一般化誤差を分析する。 この制約を尊重するアンサッツを設計し、線形モデルでは最小限のオーバーヘッドを発生させる。 これは、原子論的機械学習における1000次元データセットに適用する前に、モデル問題で実証される。 提案手法は,既存のスキームがフェールした場合のテストエラーの正確な予測とバウンディングを可能にし,この重要な不確実性の原因を計算ワークフローに組み込むことができる。

関連論文リスト

• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• ALUM: Adversarial Data Uncertainty Modeling from Latent Model Uncertainty Compensation [25.67258563807856]
  本稿では,モデル不確実性とデータ不確実性を扱うALUMという新しい手法を提案する。 提案するALUMはモデルに依存しないため,オーバーヘッドの少ない既存のディープモデルに容易に実装できる。
  論文  参考訳（メタデータ） (2023-03-29T17:24:12Z)
• Training Normalizing Flows with the Precision-Recall Divergence [73.92251251511199]
  特定精度リコールトレードオフを達成することは、em PR-divergencesと呼ぶ家族からの-divergencesの最小化に相当することを示す。 本稿では, 正規化フローをトレーニングして, 偏差を最小化し, 特に, 所与の高精度リコールトレードオフを実現する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-01T17:46:47Z)
• Rigorous Assessment of Model Inference Accuracy using Language Cardinality [5.584832154027001]
  我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T21:03:26Z)
• Data Uncertainty without Prediction Models [0.8223798883838329]
  予測モデルを明示的に使用せずに、距離重み付きクラス不純物という不確実性推定手法を提案する。 距離重み付きクラス不純物は予測モデルによらず効果的に機能することを確認した。
  論文  参考訳（メタデータ） (2022-04-25T13:26:06Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• Theoretical characterization of uncertainty in high-dimensional linear classification [24.073221004661427]
  本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。 我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T15:32:07Z)
• Partial Identifiability in Discrete Data With Measurement Error [16.421318211327314]
  我々は、疑わしい前提の下で正確な識別を追求するよりも、妥当な仮定の下で境界を提示することが好ましいことを示す。 我々は線形プログラミング手法を用いて,実測誤差と実測誤差に対する鋭い境界を導出する。
  論文  参考訳（メタデータ） (2020-12-23T02:11:08Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Learning to Predict Error for MRI Reconstruction [67.76632988696943]
  提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。 本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-02-13T15:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。