Fugu-MT 論文翻訳(概要): IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning

論文の概要: IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning

arxiv url: http://arxiv.org/abs/2302.03271v1
Date: Tue, 7 Feb 2023 05:56:42 GMT
ステータス: 処理完了
システム内更新日: 2023-02-08 17:18:23.442494
Title: IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning
Title（参考訳）: IB-UQ:情報ボトルネックに基づく神経機能回帰と神経オペレータ学習のための不確実性定量化
Authors: Ling Guo, Hao Wu, Wenwen Zhou, Tao Zhou
Abstract要約: 科学機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークが確立されている。提案モデルはノイズの多いデータに基づいて訓練し,信頼性の高い不確実性推定を行うことができる。提案するIB-UQフレームワークの機能について,いくつかの代表例を通して紹介する。
参考スコア（独自算出の注目度）: 7.967411259137556
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, a novel framework is established for uncertainty quantification via information bottleneck (IB-UQ) for scientific machine learning tasks, including deep neural network (DNN) regression and neural operator learning (DeepONet). Specifically, we first employ the General Incompressible-Flow Networks (GIN) model to learn a "wide" distribution fromnoisy observation data. Then, following the information bottleneck objective, we learn a stochastic map from input to some latent representation that can be used to predict the output. A tractable variational bound on the IB objective is constructed with a normalizing flow reparameterization. Hence, we can optimize the objective using the stochastic gradient descent method. IB-UQ can provide both mean and variance in the label prediction by explicitly modeling the representation variables. Compared to most DNN regression methods and the deterministic DeepONet, the proposed model can be trained on noisy data and provide accurate predictions with reliable uncertainty estimates on unseen noisy data. We demonstrate the capability of the proposed IB-UQ framework via several representative examples, including discontinuous function regression, real-world dataset regression and learning nonlinear operators for diffusion-reaction partial differential equation.
Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)回帰とニューラル演算子学習(DeepONet)を含む,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しい枠組みを確立する。具体的には, 一般非圧縮フローネットワーク(gin)モデルを用いて, 異常観測データから広帯域分布を学習した。そして、情報ボトルネックの目的に従って、出力を予測するために使用できる潜在表現への入力から確率写像を学習する。 IB目標のトラクタブル変動境界は、正規化フロー再パラメータ化によって構成される。したがって,確率勾配降下法を用いて目的を最適化することができる。 IB-UQは、表現変数を明示的にモデル化することにより、ラベル予測における平均値と分散値の両方を提供することができる。多くのDNN回帰法や決定論的DeepONetと比較して、提案モデルはノイズの多いデータに基づいて訓練し、ノイズのないデータに基づいて確実な推定を行うことができる。提案するib-uqフレームワークは,不連続関数回帰,実世界のデータセット回帰,拡散-反応偏微分方程式の非線形作用素の学習など,いくつかの代表的な例を通じて性能を示す。

関連論文リスト

An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
論文参考訳（メタデータ） (2024-10-24T18:15:48Z)
Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文参考訳（メタデータ） (2024-09-27T16:02:12Z)
Learning Active Subspaces and Discovering Important Features with Gaussian Radial Basis Functions Neural Networks [0.0]
モデルの訓練が完了すると抽出できる精度行列のスペクトルに含まれる貴重な情報を示す。回帰,分類,特徴選択タスクの数値実験を行った。その結果,提案モデルが競合モデルに比べて魅力的な予測性能が得られるだけでなく,予測性能も向上することが示唆された。
論文参考訳（メタデータ） (2023-07-11T09:54:30Z)
Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
論文参考訳（メタデータ） (2023-06-27T02:35:25Z)
ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文参考訳（メタデータ） (2022-04-30T06:58:56Z)
Automated Learning of Interpretable Models with Quantified Uncertainty [0.0]
我々は遺伝子プログラミングに基づくシンボリックレグレッション(GPSR)の新しい枠組みを導入する。 GPSRはモデルエビデンスを用いて、進化の選択段階における置換確率を定式化する。従来のGPSR実装と比較して、解釈可能性の向上、ノイズに対する堅牢性の向上、オーバーフィッティングの低減が示されている。
論文参考訳（メタデータ） (2022-04-12T19:56:42Z)
SignalNet: A Low Resolution Sinusoid Decomposition and Estimation Network [79.04274563889548]
本稿では,正弦波数を検出するニューラルネットワークアーキテクチャであるSignalNetを提案する。基礎となるデータ分布と比較して,ネットワークの結果を比較するための最悪の学習しきい値を導入する。シミュレーションでは、我々のアルゴリズムは常に3ビットデータのしきい値を超えることができるが、しばしば1ビットデータのしきい値を超えることはできない。
論文参考訳（メタデータ） (2021-06-10T04:21:20Z)
Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文参考訳（メタデータ） (2021-02-22T07:02:37Z)
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文参考訳（メタデータ） (2020-06-26T13:50:19Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)
Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。