論文の概要: Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian
Monte Carlo
- arxiv url: http://arxiv.org/abs/2107.07211v1
- Date: Thu, 15 Jul 2021 09:39:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 23:52:39.604543
- Title: Decentralized Bayesian Learning with Metropolis-Adjusted Hamiltonian
Monte Carlo
- Title(参考訳): メトロポリス調整ハミルトニアンモンテカルロを用いた分散ベイズ学習
- Authors: Vyacheslav Kungurtsev and Adam Cobb and Tara Javidi and Brian Jalaian
- Abstract要約: ランゲヴィン・ハミルトン法はランダム量の勾配を実現するのに有効であることを示す。
本稿では,定数ステップサイズ法をMetropolis-HMCに組み込むための最初のアプローチを提案する。
- 参考スコア(独自算出の注目度): 15.20294178835262
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning performed by a decentralized networks of agents is
becoming increasingly important with the prevalence of embedded software on
autonomous devices. Bayesian approaches to learning benefit from offering more
information as to the uncertainty of a random quantity, and Langevin and
Hamiltonian methods are effective at realizing sampling from an uncertain
distribution with large parameter dimensions. Such methods have only recently
appeared in the decentralized setting, and either exclusively use stochastic
gradient Langevin and Hamiltonian Monte Carlo approaches that require a
diminishing stepsize to asymptotically sample from the posterior and are known
in practice to characterize uncertainty less faithfully than constant step-size
methods with a Metropolis adjustment, or assume strong convexity properties of
the potential function. We present the first approach to incorporating constant
stepsize Metropolis-adjusted HMC in the decentralized sampling framework, show
theoretical guarantees for consensus and probability distance to the posterior
stationary distribution, and demonstrate their effectiveness numerically on
standard real world problems, including decentralized learning of neural
networks which is known to be highly non-convex.
- Abstract(参考訳): エージェントの分散ネットワークによって実行されるフェデレーション学習は、自律デバイスへの組み込みソフトウェアの普及によってますます重要になっている。
ベイジアンはランダム量の不確かさについてより多くの情報を提供することで学習の利点を享受し、ランジュバンとハミルトニアン法は大きなパラメータ次元を持つ不確かさ分布からのサンプリングを実現するのに有効である。
このような方法は、最近になって分散化された設定でのみ登場し、確率勾配ランジュバンとハミルトニアンモンテカルロのアプローチを排他的に使用して、後方から漸近的にサンプルを採取し、メトロポリス調整による一定のステップサイズ法よりも不確かさを特徴づけることや、ポテンシャル関数の強い凸性特性を仮定することが知られている。
本稿では,分散サンプリングフレームワークにおけるメトロポリス調整型hmcの定段化と,後定常分布に対するコンセンサスと確率距離の理論的保証,および高度に非凸であることが知られているニューラルネットワークの分散学習を含む標準実世界の問題に対する数値的有効性を示す。
関連論文リスト
- A Compact Representation for Bayesian Neural Networks By Removing
Permutation Symmetry [22.229664343428055]
置換の役割は、多くの転置計量によって有意に定量化できることを示す。
次に、最近提案されたRebasin法により、HMCサンプルをコンパクトな表現にまとめることができることを示す。
このコンパクトな表現により、サンプル法と変分推論とでトレーニングされたBNNを直接重み空間で比較できることが示される。
論文 参考訳(メタデータ) (2023-12-31T23:57:05Z) - Statistical guarantees for stochastic Metropolis-Hastings [0.0]
バッチ上での受け入れ確率を計算することで、Metropolis-Hastingsステップは計算コストを削減できるが、有効なサンプルサイズを削減できる。
この障害を簡単な補正項で回避できることを示す。
我々は、メトロポリス・ハスティングス・アルゴリズムが、古典的なメトロポリス調整ランゲヴィン・アルゴリズムから得られるものと同様の挙動を示す。
論文 参考訳(メタデータ) (2023-10-13T18:00:26Z) - Bayesian deep learning framework for uncertainty quantification in high
dimensions [6.282068591820945]
我々はベイズニューラルネットワーク(BNN)とハミルトンモンテカルロ(HMC)に基づく偏微分方程式の不確実性定量化のための新しい深層学習法を開発した。
BNNは、ネットワークパラメータに対してベイズ推論を行うことにより、ディープニューラルネットワークにおけるパラメータの後方分布を効率的に学習する。
後部分布は、HMCを用いて効率よくサンプリングされ、システムの不確かさを定量化する。
論文 参考訳(メタデータ) (2022-10-21T05:20:06Z) - Quantization enabled Privacy Protection in Decentralized Stochastic
Optimization [34.24521534464185]
分散最適化は、機械学習、制御、センサーネットワークのように多様な領域で使用することができる。
プライバシー保護は、分散最適化の実装において重要な必要性として浮上している。
本稿では,アグレッシブ量子化誤差が存在する場合でも,証明可能な収束精度を保証できるアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-07T15:17:23Z) - NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural
Networks [151.03112356092575]
本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。
種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
論文 参考訳(メタデータ) (2022-02-07T12:30:45Z) - Sampling asymmetric open quantum systems for artificial neural networks [77.34726150561087]
非対称な開系に対する高速収束時間と高いスケーラビリティを実現し,非対称性を考慮したハイブリッドサンプリング戦略を提案する。
我々は、ニューラルネットワークの普遍的適用性を強調し、ニューラルネットワークの普遍的適用性を概説する。
論文 参考訳(メタデータ) (2020-12-20T18:25:29Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian
Monte Carlo [8.94392435424862]
分散SGLD (DE-SGLD) と分散SGHMC (DE-SGHMC) は、大規模データセットの分散設定におけるスケール可能なベイズ推論のためのアルゴリズムである。
後続分布が強対数で滑らかである場合、これらのアルゴリズムの繰り返しは2-ワッサーシュタイン距離における対象分布の近傍に線形に収束することを示す。
論文 参考訳(メタデータ) (2020-07-01T16:26:00Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - A Distributional Analysis of Sampling-Based Reinforcement Learning
Algorithms [67.67377846416106]
定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。
本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
論文 参考訳(メタデータ) (2020-03-27T05:13:29Z) - Decentralized MCTS via Learned Teammate Models [89.24858306636816]
本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。
深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
論文 参考訳(メタデータ) (2020-03-19T13:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。