論文の概要: A prediction rigidity formalism for low-cost uncertainties in trained neural networks

• arxiv url: http://arxiv.org/abs/2403.02251v1
• Date: Mon, 4 Mar 2024 17:35:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:00:21.290920
• Title: A prediction rigidity formalism for low-cost uncertainties in trained neural networks
• Title（参考訳）: トレーニングニューラルネットワークにおける低コスト不確実性の予測剛性形式
• Authors: Filippo Bigi, Sanggyu Chong, Michele Ceriotti, and Federico Grasselli
• Abstract要約: 本稿では,任意の事前学習型回帰器の不確実性を得る手法として「予測剛性」を提案する。 簡単な玩具モデルから化学・気象学への応用まで,幅広い回帰作業における本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Regression methods are fundamental for scientific and technological applications. However, fitted models can be highly unreliable outside of their training domain, and hence the quantification of their uncertainty is crucial in many of their applications. Based on the solution of a constrained optimization problem, we propose "prediction rigidities" as a method to obtain uncertainties of arbitrary pre-trained regressors. We establish a strong connection between our framework and Bayesian inference, and we develop a last-layer approximation that allows the new method to be applied to neural networks. This extension affords cheap uncertainties without any modification to the neural network itself or its training procedure. We show the effectiveness of our method on a wide range of regression tasks, ranging from simple toy models to applications in chemistry and meteorology.
• Abstract（参考訳）: 回帰法は科学的・技術的応用の基礎である。 しかし、適合したモデルはトレーニング領域以外では非常に信頼できないため、不確かさの定量化が多くの応用において不可欠である。 制約付き最適化問題の解法に基づいて, 任意の事前学習レグレプタの不確実性を得るために, 予測剛性 (prediction rigidity) を提案する。 我々は,我々のフレームワークとベイズ推定の強い関係を確立し,ニューラルネットに適用可能なラスト層近似法を開発した。 この拡張は、ニューラルネットワーク自体やトレーニング手順を変更することなく、安価な不確実性を提供する。 簡単な玩具モデルから化学や気象学への応用まで幅広い回帰タスクにおいて,本手法の有効性を示す。

関連論文リスト

• Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution [110.99891169486366]
  本稿では,効率的かつ高精度な不確実性定量化を深層学習に基づく代理モデルに統合する手法を提案する。 本手法は,フォワード問題と逆問題の両方に対して,堅牢かつ効率的な不確実性定量化機能を備えたディープラーニングに基づく代理モデルを提案する。 提案手法は, 長期予測を含むシナリオに適合し, 拡張された自己回帰ロールアウトに対する不確かさの伝播に優れる。
  論文  参考訳（メタデータ） (2024-02-13T11:22:59Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• MMGP: a Mesh Morphing Gaussian Process-based machine learning method for regression of physical problems under non-parameterized geometrical variability [0.30693357740321775]
  本稿では,グラフニューラルネットワークに依存しない機械学習手法を提案する。 提案手法は, 明示的な形状パラメータ化を必要とせずに, 大きなメッシュを容易に扱うことができる。
  論文  参考訳（メタデータ） (2023-05-22T09:50:15Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• DeepBayes -- an estimator for parameter estimation in stochastic nonlinear dynamical models [11.917949887615567]
  本研究では,DeepBayes推定器を提案する。 ディープリカレントニューラルネットワークアーキテクチャはオフラインでトレーニングでき、推論中にかなりの時間を節約できる。 提案手法の異なる実例モデルへの適用性を実証し, 最先端手法との詳細な比較を行う。
  論文  参考訳（メタデータ） (2022-05-04T18:12:17Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• Depth Uncertainty in Neural Networks [2.6763498831034043]
  ディープラーニングにおける不確実性を推定する既存の方法は、複数の前方パスを必要とする傾向がある。 フィードフォワードネットワークのシーケンシャルな構造を利用することで、トレーニング目標を評価し、単一のフォワードパスで予測を行うことができる。 実世界の回帰と画像分類タスクに対する我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2020-06-15T14:33:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。