論文の概要: Uncertainty Quantification of Graph Convolution Neural Network Models of
Evolving Processes
- arxiv url: http://arxiv.org/abs/2402.11179v1
- Date: Sat, 17 Feb 2024 03:19:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 22:48:07.151850
- Title: Uncertainty Quantification of Graph Convolution Neural Network Models of
Evolving Processes
- Title（参考訳）: 進化過程のグラフ畳み込みニューラルネットワークモデルの不確実性定量化
- Authors: Jeremiah Hauth, Cosmin Safta, Xun Huan, Ravi G. Patel, Reese E. Jones
- Abstract要約: 複雑なニューラルネットワークモデルに対するモンテカルロ法に代えて、スタイン変分推論が実現可能であることを示す。
我々の例では、スタイン変分干渉はハミルトン・モンテカルロと比較して時間を通して同様の不確実性プロファイルを与えた。
- 参考スコア（独自算出の注目度）: 0.8749675983608172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The application of neural network models to scientific machine learning tasks
has proliferated in recent years. In particular, neural network models have
proved to be adept at modeling processes with spatial-temporal complexity.
Nevertheless, these highly parameterized models have garnered skepticism in
their ability to produce outputs with quantified error bounds over the regimes
of interest. Hence there is a need to find uncertainty quantification methods
that are suitable for neural networks. In this work we present comparisons of
the parametric uncertainty quantification of neural networks modeling complex
spatial-temporal processes with Hamiltonian Monte Carlo and Stein variational
gradient descent and its projected variant. Specifically we apply these methods
to graph convolutional neural network models of evolving systems modeled with
recurrent neural network and neural ordinary differential equations
architectures. We show that Stein variational inference is a viable alternative
to Monte Carlo methods with some clear advantages for complex neural network
models. For our exemplars, Stein variational interference gave similar
uncertainty profiles through time compared to Hamiltonian Monte Carlo, albeit
with generally more generous variance.Projected Stein variational gradient
descent also produced similar uncertainty profiles to the non-projected
counterpart, but large reductions in the active weight space were confounded by
the stability of the neural network predictions and the convoluted likelihood
landscape.
- Abstract（参考訳）: 近年,科学的機械学習タスクへのニューラルネットワークモデルの適用が増加している。
特に、ニューラルネットワークモデルは、空間的時間的複雑さを持つモデリングプロセスに適していることが証明されている。
にもかかわらず、これらの高パラメータ化モデルは、関心の体系に量子化された誤差境界を持つ出力を生成する能力に懐疑論を抱いている。
したがって、ニューラルネットワークに適した不確実性定量化方法を見つける必要がある。
本研究では,複雑な空間-時間過程をモデル化するニューラルネットワークのパラメトリック不確かさの定量化について,ハミルトニアンモンテカルロとスタイン変分勾配降下とその投影型との比較を行った。
具体的には,リカレントニューラルネットワークとニューラル常微分方程式をモデルとした進化系のグラフ畳み込みニューラルネットワークモデルに適用する。
我々は, 複雑なニューラルネットワークモデルに対して, スタイン変分推論がモンテカルロ法に代わる有効な方法であることを示す。
私たちの例では、スタイン変分干渉はハミルトニアンモンテカルロと比較して時間を通じて類似の不確かさプロファイルを与え、一般的には寛大な分散を示したが、予測されたスタイン変分勾配降下は、非計画のものと同様の不確実性プロファイルも生み出したが、アクティブウェイト空間の大幅な縮小は、ニューラルネットワークの予測の安定性と畳み込み確率の景観によって達成された。
関連論文リスト
- Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。
実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
論文 参考訳（メタデータ） (2024-05-18T07:32:02Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - MMGP: a Mesh Morphing Gaussian Process-based machine learning method for
regression of physical problems under non-parameterized geometrical
variability [0.30693357740321775]
本稿では,グラフニューラルネットワークに依存しない機械学習手法を提案する。
提案手法は, 明示的な形状パラメータ化を必要とせずに, 大きなメッシュを容易に扱うことができる。
論文 参考訳（メタデータ） (2023-05-22T09:50:15Z) - Capturing dynamical correlations using implicit neural representations [85.66456606776552]
実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。
そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
論文 参考訳（メタデータ） (2023-04-08T07:55:36Z) - Dynamical Hyperspectral Unmixing with Variational Recurrent Neural
Networks [25.051918587650636]
MTHU(Multitemporal hyperspectral unmixing)は、ハイパースペクトル画像解析の基本的なツールである。
本稿では,変分リカレントニューラルネットワークに基づく教師なしMTHUアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-19T04:51:34Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Dynamic Neural Diversification: Path to Computationally Sustainable
Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。
学習過程において隠れた層内のニューロンの多様性を探索する。
ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文 参考訳（メタデータ） (2021-09-20T15:12:16Z) - Stochastic Recurrent Neural Network for Multistep Time Series
Forecasting [0.0]
我々は、時系列予測のための繰り返しニューラルネットワークの適応を提案するために、深部生成モデルと状態空間モデルの概念の進歩を活用する。
私たちのモデルは、すべての関連情報が隠された状態でカプセル化されるリカレントニューラルネットワークのアーキテクチャ的な動作を保ち、この柔軟性により、モデルはシーケンシャルモデリングのために任意のディープアーキテクチャに簡単に統合できます。
論文 参考訳（メタデータ） (2021-04-26T01:43:43Z) - Parameter Estimation with Dense and Convolutional Neural Networks
Applied to the FitzHugh-Nagumo ODE [0.0]
密度層と畳み込み層を用いた深層ニューラルネットワークを逆問題として提示し,Fitz-Nagumoモデルのパラメータを推定する。
深層ニューラルネットワークは、動的モデルやプロセスにおけるパラメータを推定する可能性があり、フレームワークのパラメータを正確に予測することができることを実証する。
論文 参考訳（メタデータ） (2020-12-12T01:20:42Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。