論文の概要: Physics-Informed Machine Learning of Dynamical Systems for Efficient Bayesian Inference

• arxiv url: http://arxiv.org/abs/2209.09349v1
• Date: Mon, 19 Sep 2022 21:17:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 17:52:29.481878
• Title: Physics-Informed Machine Learning of Dynamical Systems for Efficient Bayesian Inference
• Title（参考訳）: 効率的なベイズ推論のための力学系の物理インフォームド機械学習
• Authors: Somayajulu L. N. Dhulipala and Yifeng Che and Michael D. Shields
• Abstract要約: No-u-turn sampler (NUTS) はベイズ推定法として広く採用されている。 ハミルトンニューラルネットワーク(HNN)は注目に値するアーキテクチャである。 本稿では,HNNを用いてベイズ推定を効率的に行う方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although the no-u-turn sampler (NUTS) is a widely adopted method for performing Bayesian inference, it requires numerous posterior gradients which can be expensive to compute in practice. Recently, there has been a significant interest in physics-based machine learning of dynamical (or Hamiltonian) systems and Hamiltonian neural networks (HNNs) is a noteworthy architecture. But these types of architectures have not been applied to solve Bayesian inference problems efficiently. We propose the use of HNNs for performing Bayesian inference efficiently without requiring numerous posterior gradients. We introduce latent variable outputs to HNNs (L-HNNs) for improved expressivity and reduced integration errors. We integrate L-HNNs in NUTS and further propose an online error monitoring scheme to prevent sampling degeneracy in regions where L-HNNs may have little training data. We demonstrate L-HNNs in NUTS with online error monitoring considering several complex high-dimensional posterior densities and compare its performance to NUTS.
• Abstract（参考訳）: no-u-turn sampler (NUTS) はベイズ推定法として広く採用されているが、実際には計算に費用がかかる多くの後勾配を必要とする。 近年、力学系(あるいはハミルトニアン系)の物理ベースの機械学習に大きな関心が寄せられ、ハミルトニアンニューラルネットワーク(hnn)は注目に値するアーキテクチャである。 しかし、これらのアーキテクチャはベイズ推論問題を効率的に解くには適用されていない。 本稿では,HNNを用いてベイズ推定を効率的に行う方法を提案する。 HNN(L-HNN)に潜時変数の出力を導入し,表現性の向上と積分誤差の低減を図る。 我々は,L-HNN を NUTS に統合し,L-HNN がトレーニングデータが少ない地域において,デジェネリシーのサンプリングを防止するためのオンラインエラー監視手法を提案する。 NUTSにおけるL-HNNを,数個の複雑な高次元後部密度を考慮したオンラインエラーモニタリングで実証し,その性能をNUTSと比較した。

関連論文リスト

• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Bayesian Inference with Latent Hamiltonian Neural Networks [0.0]
  Hamiltonian Neural Network (HNN) with Hamiltonian Monte Carlo (HMC) and No-U-Turn Sampler (NUTS) HNNはサンプリング中にターゲット密度の数値勾配を必要としない。 NUTSのL-HNNとオンラインエラー監視では、目標密度の1-2桁を桁違いに減らした。
  論文  参考訳（メタデータ） (2022-08-12T05:10:18Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
  本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。 提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-11T13:25:45Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Multilevel Bayesian Deep Neural Networks [0.5892638927736115]
  我々は、ディープニューラルネットワーク(DNN)、特にトレースクラスニューラルネットワーク(TNN)に関連付けられた推論について検討する。 TNN事前は無限個の隠れ単位を持つ関数上で定義され、有限個の隠れ単位を持つ強い収束近似を持つ。 本稿では,TNNの強い収束を利用して,これらのモデルにマルチレベルモンテカルロ(MLMC)を適用する。
  論文  参考訳（メタデータ） (2022-03-24T09:49:27Z)
• Hamiltonian Deep Neural Networks Guaranteeing Non-vanishing Gradients by Design [2.752441514346229]
  バックプロパゲーションによる重量最適化における勾配の消失と爆発は、訓練が困難である。 連続時間ハミルトンシステムの離散化から導かれるハミルトンDNN(H-DNN)の一般クラスを提案する。 我々の主な成果は、広範囲のH-DNNが任意のネットワーク深さを設計することで、不要な勾配を保証することである。 MNISTデータセットを用いた画像分類を含む,ベンチマーク分類問題において,H-DNNの性能を示す。
  論文  参考訳（メタデータ） (2021-05-27T14:52:22Z)
• A unified framework for Hamiltonian deep neural networks [3.0934684265555052]
  ディープニューラルネットワーク(DNN)のトレーニングは、重み付け最適化中に勾配を消耗させるため、難しい場合がある。 ハミルトン系の時間離散化から派生したDNNのクラスを提案する。 提案されたハミルトンのフレームワークは、限界的に安定なODEにインスパイアされた既存のネットワークを包含する以外に、新しいより表現力のあるアーキテクチャを導出することができる。
  論文  参考訳（メタデータ） (2021-04-27T13:20:24Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。