論文の概要: IB-UQ: Information bottleneck based uncertainty quantification for
neural function regression and neural operator learning
- arxiv url: http://arxiv.org/abs/2302.03271v2
- Date: Tue, 30 May 2023 00:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 01:40:09.511755
- Title: IB-UQ: Information bottleneck based uncertainty quantification for
neural function regression and neural operator learning
- Title（参考訳）: IB-UQ:情報ボトルネックに基づく神経機能回帰と神経オペレータ学習のための不確実性定量化
- Authors: Ling Guo, Hao Wu, Wenwen Zhou, Yan Wang, Tao Zhou
- Abstract要約: 本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。
我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。
また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
- 参考スコア（独自算出の注目度）: 11.5992081385106
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We propose a novel framework for uncertainty quantification via information
bottleneck (IB-UQ) for scientific machine learning tasks, including deep neural
network (DNN) regression and neural operator learning (DeepONet). Specifically,
we incorporate the bottleneck by a confidence-aware encoder, which encodes
inputs into latent representations according to the confidence of the input
data belonging to the region where training data is located, and utilize a
Gaussian decoder to predict means and variances of outputs conditional on
representation variables. Furthermore, we propose a data augmentation based
information bottleneck objective which can enhance the quantification quality
of the extrapolation uncertainty, and the encoder and decoder can be both
trained by minimizing a tractable variational bound of the objective. In
comparison to uncertainty quantification (UQ) methods for scientific learning
tasks that rely on Bayesian neural networks with Hamiltonian Monte Carlo
posterior estimators, the model we propose is computationally efficient,
particularly when dealing with large-scale data sets. The effectiveness of the
IB-UQ model has been demonstrated through several representative examples, such
as regression for discontinuous functions, real-world data set regression,
learning nonlinear operators for partial differential equations, and a
large-scale climate model. The experimental results indicate that the IB-UQ
model can handle noisy data, generate robust predictions, and provide confident
uncertainty evaluation for out-of-distribution data.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)回帰やニューラル演算子学習(DeepONet)を含む,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。
具体的には、トレーニングデータが存在する領域に属する入力データの信頼度に応じて、入力を潜在表現にエンコードする信頼度対応エンコーダによるボトルネックを取り入れ、ガウスデコーダを用いて表現変数の条件付き出力の手段と分散を予測する。
さらに,外挿不確かさの定量化品質を向上できるデータ拡張に基づく情報ボトルネック目標を提案し,目的の可搬的変動境界を最小化することにより,エンコーダとデコーダの両方を訓練することができる。
ハミルトニアンモンテカルロ後部推定器によるベイズニューラルネットワークに依存する科学学習タスクに対する不確実性定量化(UQ)手法と比較して、提案するモデルは計算効率が良く、特に大規模データセットを扱う場合である。
IB-UQモデルの有効性は、不連続関数の回帰、実世界のデータセットの回帰、偏微分方程式の非線形作用素の学習、大規模気候モデルなど、いくつかの代表的な例を通じて実証されてきた。
実験の結果, ib-uqモデルは, 雑音データを処理し, 頑健な予測を生成し, 分散データに対する信頼性の高い不確実性評価を行うことができた。
関連論文リスト
- Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。
回帰,分類,特徴選択タスクの数値実験を行った。
その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文 参考訳（メタデータ） (2023-07-11T09:54:30Z) - Evaluation of machine learning architectures on the quantification of
epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。
ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。
検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
論文 参考訳（メタデータ） (2023-06-27T02:35:25Z) - A hybrid data driven-physics constrained Gaussian process regression
framework with deep kernel for uncertainty quantification [21.972192114861873]
本稿では,データ駆動物理制約付きガウスプロセス回帰フレームワークを提案する。
物理知識をボルツマン・ギブス分布でエンコードし、最大可能性(ML)アプローチでモデルを導出する。
提案モデルでは,高次元問題において良好な結果が得られ,その不確かさを正確に伝播し,ラベル付きデータを極めて限定的に提供した。
論文 参考訳（メタデータ） (2022-05-13T07:53:49Z) - ClusterQ: Semantic Feature Distribution Alignment for Data-Free
Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。
意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。
また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文 参考訳（メタデータ） (2022-04-30T06:58:56Z) - Automated Learning of Interpretable Models with Quantified Uncertainty [0.0]
我々は遺伝子プログラミングに基づくシンボリックレグレッション(GPSR)の新しい枠組みを導入する。
GPSRはモデルエビデンスを用いて、進化の選択段階における置換確率を定式化する。
従来のGPSR実装と比較して、解釈可能性の向上、ノイズに対する堅牢性の向上、オーバーフィッティングの低減が示されている。
論文 参考訳（メタデータ） (2022-04-12T19:56:42Z) - SignalNet: A Low Resolution Sinusoid Decomposition and Estimation
Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。
基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。
シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文 参考訳（メタデータ） (2021-06-10T04:21:20Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。