論文の概要: Bayesian Inference with Latent Hamiltonian Neural Networks
- arxiv url: http://arxiv.org/abs/2208.06120v1
- Date: Fri, 12 Aug 2022 05:10:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-15 13:13:06.032673
- Title: Bayesian Inference with Latent Hamiltonian Neural Networks
- Title（参考訳）: 潜在ハミルトンニューラルネットワークによるベイズ推定
- Authors: Somayajulu L. N. Dhulipala, Yifeng Che, Michael D. Shields
- Abstract要約: Hamiltonian Neural Network (HNN) with Hamiltonian Monte Carlo (HMC) and No-U-Turn Sampler (NUTS)
HNNはサンプリング中にターゲット密度の数値勾配を必要としない。
NUTSのL-HNNとオンラインエラー監視では、目標密度の1-2桁を桁違いに減らした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When sampling for Bayesian inference, one popular approach is to use
Hamiltonian Monte Carlo (HMC) and specifically the No-U-Turn Sampler (NUTS)
which automatically decides the end time of the Hamiltonian trajectory.
However, HMC and NUTS can require numerous numerical gradients of the target
density, and can prove slow in practice. We propose Hamiltonian neural networks
(HNNs) with HMC and NUTS for solving Bayesian inference problems. Once trained,
HNNs do not require numerical gradients of the target density during sampling.
Moreover, they satisfy important properties such as perfect time reversibility
and Hamiltonian conservation, making them well-suited for use within HMC and
NUTS because stationarity can be shown. We also propose an HNN extension called
latent HNNs (L-HNNs), which are capable of predicting latent variable outputs.
Compared to HNNs, L-HNNs offer improved expressivity and reduced integration
errors. Finally, we employ L-HNNs in NUTS with an online error monitoring
scheme to prevent sample degeneracy in regions of low probability density. We
demonstrate L-HNNs in NUTS with online error monitoring on several examples
involving complex, heavy-tailed, and high-local-curvature probability
densities. Overall, L-HNNs in NUTS with online error monitoring satisfactorily
inferred these probability densities. Compared to traditional NUTS, L-HNNs in
NUTS with online error monitoring required 1--2 orders of magnitude fewer
numerical gradients of the target density and improved the effective sample
size (ESS) per gradient by an order of magnitude.
- Abstract（参考訳）: ベイズ推定のサンプリングでは、ハミルトニアンモンテカルロ (HMC) と特にハミルトン軌道の終点を自動的に決定するNo-U-Turn Sampler (NUTS) を用いるのが一般的である。
しかし、HMCとNUTSは対象密度の数値勾配を必要とする可能性があり、実際は遅いことが証明できる。
ベイズ推論問題の解法として,HMCとNUTSを用いたハミルトンニューラルネットワークを提案する。
一度訓練すると、HNNはサンプリング中にターゲット密度の数値勾配を必要としない。
さらに、完全時間可逆性やハミルトン保存といった重要な性質を満足し、定常性を示すことができるため、HMCやNUTSでの使用に適している。
また、潜時変数の出力を予測可能な潜時HNN(L-HNNs)と呼ばれるHNN拡張も提案する。
HNNと比較して、L-HNNは表現性の向上と統合エラーの低減を提供する。
最後に,低確率密度領域におけるサンプルの退化を防止するために,オンラインエラー監視方式を用いてL-HNNをNUTSに導入する。
NUTSにおけるL-HNNを,複雑で重みのある高局所曲率の確率密度を含むいくつかの事例について,オンラインエラーモニタリングを用いて実証した。
全体として、NUTSのL-HNNとオンラインエラーモニタリングは、これらの確率密度を十分に推測した。
従来のNUTSと比較して、NUTSのL-HNNとオンラインエラー監視では、ターゲット密度の数値勾配を桁違いに減らし、1桁あたりの有効サンプルサイズ(ESS)を桁違いに改善する必要があった。
関連論文リスト
- Scalable Mechanistic Neural Networks [52.28945097811129]
長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。
元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。
大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
論文 参考訳（メタデータ） (2024-10-08T14:27:28Z) - Sparse Spiking Neural Network: Exploiting Heterogeneity in Timescales
for Pruning Recurrent SNN [19.551319330414085]
スパイキングニューラルネットワーク(RSNN)は、計算的に効率的で脳に触発された学習モデルとして登場した。
伝統的に、スパースSNNは、まずターゲットタスクのために密度が高く複雑なSNNを訓練することによって得られる。
本稿では,大きめのランダムモデルを用いて,スパースRSNNを設計するためのタスク依存手法を提案する。
論文 参考訳（メタデータ） (2024-03-06T02:36:15Z) - Low Latency of object detection for spikng neural network [3.404826786562694]
スパイキングニューラルネットワークは、バイナリスパイクの性質のため、エッジAIアプリケーションに適している。
本稿では,オブジェクト検出に特化して,高精度で低遅延なSNNを生成することに焦点を当てる。
論文 参考訳（メタデータ） (2023-09-27T10:26:19Z) - An Automata-Theoretic Approach to Synthesizing Binarized Neural Networks [13.271286153792058]
量子ニューラルネットワーク(QNN)が開発され、二項化ニューラルネットワーク(BNN)は特殊なケースとしてバイナリ値に制限されている。
本稿では,指定された特性を満たすBNNの自動合成手法を提案する。
論文 参考訳（メタデータ） (2023-07-29T06:27:28Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Physics-Informed Machine Learning of Dynamical Systems for Efficient
Bayesian Inference [0.0]
No-u-turn sampler (NUTS) はベイズ推定法として広く採用されている。
ハミルトンニューラルネットワーク(HNN)は注目に値するアーキテクチャである。
本稿では,HNNを用いてベイズ推定を効率的に行う方法を提案する。
論文 参考訳（メタデータ） (2022-09-19T21:17:23Z) - tinySNN: Towards Memory- and Energy-Efficient Spiking Neural Networks [14.916996986290902]
スパイキングニューラルネットワーク(SNN)モデルは、高い精度を提供できるため、一般的に好適である。
しかし、資源とエネルギーを制約した組込みプラットフォームにそのようなモデルを適用することは非効率である。
本稿では,SNN処理のメモリおよびエネルギー要求を最適化する小型SNNフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-17T09:40:40Z) - Learning Trajectories of Hamiltonian Systems with Neural Networks [81.38804205212425]
本稿では,モデル系の連続時間軌跡を推定し,ハミルトニアンニューラルネットワークを強化することを提案する。
提案手法は, 低サンプリング率, ノイズ, 不規則な観測において, HNNに対して有効であることを示す。
論文 参考訳（メタデータ） (2022-04-11T13:25:45Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。