論文の概要: PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty
- arxiv url: http://arxiv.org/abs/2202.05063v2
- Date: Fri, 11 Feb 2022 09:12:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 12:19:50.868011
- Title: PCENet: High Dimensional Surrogate Modeling for Learning Uncertainty
- Title(参考訳): PCENet: 学習不確実性のための高次元サロゲートモデリング
- Authors: Paz Fink Shustin, Shashanka Ubaru, Vasileios Kalantzis, Lior Horesh,
Haim Avron
- Abstract要約: 本稿では,表現学習と不確実性定量化のための新しい代理モデルを提案する。
提案モデルでは、(潜在的に高次元の)データの次元的低減のためのニューラルネットワークアプローチと、データ分布を学習するための代理モデル手法を組み合わせる。
我々のモデルは,データの表現を学習し,(a)高次元データシステムにおける不確実性を推定し,(c)出力分布の高次モーメントを一致させることができる。
- 参考スコア(独自算出の注目度): 15.781915567005251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning data representations under uncertainty is an important task that
emerges in numerous machine learning applications. However, uncertainty
quantification (UQ) techniques are computationally intensive and become
prohibitively expensive for high-dimensional data. In this paper, we present a
novel surrogate model for representation learning and uncertainty
quantification, which aims to deal with data of moderate to high dimensions.
The proposed model combines a neural network approach for dimensionality
reduction of the (potentially high-dimensional) data, with a surrogate model
method for learning the data distribution. We first employ a variational
autoencoder (VAE) to learn a low-dimensional representation of the data
distribution. We then propose to harness polynomial chaos expansion (PCE)
formulation to map this distribution to the output target. The coefficients of
PCE are learned from the distribution representation of the training data using
a maximum mean discrepancy (MMD) approach. Our model enables us to (a) learn a
representation of the data, (b) estimate uncertainty in the high-dimensional
data system, and (c) match high order moments of the output distribution;
without any prior statistical assumptions on the data. Numerical experimental
results are presented to illustrate the performance of the proposed method.
- Abstract(参考訳): 不確実性の下でデータ表現を学ぶことは、多くの機械学習アプリケーションに現れる重要なタスクである。
しかし、不確実性定量化(uq)技術は計算量が多く、高次元データには極めて高価である。
本稿では,中程度から高次元のデータを扱うことを目的とした,表現学習と不確実性定量化のための新しいサロゲートモデルを提案する。
提案モデルは,(潜在的に高次元の)データの次元性低減のためのニューラルネットワークアプローチと,データ分布学習のためのサロゲートモデル手法を組み合わせたものである。
まず、変動オートエンコーダ(VAE)を用いて、データ分布の低次元表現を学習する。
次に,多項式カオス展開(pce)の定式化を用いて,この分布を出力対象にマッピングする。
PCEの係数は、最大平均誤差(MMD)アプローチを用いてトレーニングデータの分布表現から学習する。
私たちのモデルでは
(a)データの表現を学ぶ。
b)高次元データシステムにおける不確実性の推定
(c)出力分布の高次モーメントに一致し、データの事前の統計的な仮定を伴わない。
提案手法の性能を示すために, 数値実験を行った。
関連論文リスト
- A Discriminative Bayesian Gaussian Process Latent Variable Model for
High-Dimensional Data [0.0]
ガウス過程(GP)を利用して高次元データを特徴付ける新しい非パラメトリックモデリング手法を提案する。
このモデルはLDGD(Latent Discrimi Generative Decoder)と呼ばれ、多様体発見プロセスにおいてデータ(またはその特徴)と関連するラベル(カテゴリや刺激など)の両方を利用する。
LDGDはその多様体を正確に推定するだけでなく、予測ラベルの予測精度は最先端のアプローチを上回る。
論文 参考訳(メタデータ) (2024-01-29T19:11:03Z) - Proximal Symmetric Non-negative Latent Factor Analysis: A Novel Approach
to Highly-Accurate Representation of Undirected Weighted Networks [2.1797442801107056]
Undirected Weighted Network (UWN) は、ビッグデータ関連のアプリケーションで一般的に見られる。
既存のモデルは本質対称性や低データ密度のモデル化に失敗する。
近軸対称非負の潜在因子分析モデルを提案する。
論文 参考訳(メタデータ) (2023-06-06T13:03:24Z) - IB-UQ: Information bottleneck based uncertainty quantification for
neural function regression and neural operator learning [11.5992081385106]
本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。
我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。
また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
論文 参考訳(メタデータ) (2023-02-07T05:56:42Z) - Low-rank statistical finite elements for scalable model-data synthesis [0.8602553195689513]
statFEMは、支配方程式に強制を埋め込むことによって、事前モデルの誤特定を認める。
この方法は、観測されたデータ生成過程を最小限の情報損失で再構築する。
本稿では、下層の密度共分散行列の低ランク近似を埋め込むことで、このハードルを克服する。
論文 参考訳(メタデータ) (2021-09-10T09:51:43Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳(メタデータ) (2021-04-11T16:37:32Z) - Incorporating Causal Graphical Prior Knowledge into Predictive Modeling
via Simple Data Augmentation [92.96204497841032]
因果グラフ(CG)は、データ分散の背後にあるデータ生成プロセスの知識のコンパクトな表現である。
本研究では,条件付き独立性(CI)関係の事前知識を活用可能なモデルに依存しないデータ拡張手法を提案する。
本手法は,小データシステムにおける予測精度の向上に有効であることを実験的に示した。
論文 参考訳(メタデータ) (2021-02-27T06:13:59Z) - Graph Embedding with Data Uncertainty [113.39838145450007]
スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。
ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
論文 参考訳(メタデータ) (2020-09-01T15:08:23Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳(メタデータ) (2020-06-10T14:47:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。