論文の概要: Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2007.00590v4
• Date: Thu, 26 Aug 2021 19:46:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 22:44:26.098253
• Title: Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian Monte Carlo
• Title（参考訳）: 分散確率勾配ランジュバンダイナミクスとハミルトニアンモンテカルロ
• Authors: Mert G\"urb\"uzbalaban, Xuefeng Gao, Yuanhan Hu, Lingjiong Zhu
• Abstract要約: 分散SGLD (DE-SGLD) と分散SGHMC (DE-SGHMC) は、大規模データセットの分散設定におけるスケール可能なベイズ推論のためのアルゴリズムである。 後続分布が強対数で滑らかである場合、これらのアルゴリズムの繰り返しは2-ワッサーシュタイン距離における対象分布の近傍に線形に収束することを示す。
• 参考スコア（独自算出の注目度）: 8.94392435424862
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic gradient Langevin dynamics (SGLD) and stochastic gradient Hamiltonian Monte Carlo (SGHMC) are two popular Markov Chain Monte Carlo (MCMC) algorithms for Bayesian inference that can scale to large datasets, allowing to sample from the posterior distribution of the parameters of a statistical model given the input data and the prior distribution over the model parameters. However, these algorithms do not apply to the decentralized learning setting, when a network of agents are working collaboratively to learn the parameters of a statistical model without sharing their individual data due to privacy reasons or communication constraints. We study two algorithms: Decentralized SGLD (DE-SGLD) and Decentralized SGHMC (DE-SGHMC) which are adaptations of SGLD and SGHMC methods that allow scaleable Bayesian inference in the decentralized setting for large datasets. We show that when the posterior distribution is strongly log-concave and smooth, the iterates of these algorithms converge linearly to a neighborhood of the target distribution in the 2-Wasserstein distance if their parameters are selected appropriately. We illustrate the efficiency of our algorithms on decentralized Bayesian linear regression and Bayesian logistic regression problems.
• Abstract（参考訳）: 確率勾配ランゲヴィンダイナミクス (SGLD) と確率勾配ハミルトンモンテカルロ (SGHMC) は、ベイズ推定のための2つの一般的なマルコフチェインモンテカルロ (MCMC) アルゴリズムであり、入力データから得られる統計モデルのパラメータの後方分布とモデルパラメータの事前分布から標本化することができる。 しかし、これらのアルゴリズムは、プライバシの理由や通信の制約によって個々のデータを共有することなく、エージェントのネットワークが協調して統計モデルのパラメータを学習している場合、分散学習環境には適用されない。 本研究では,分散SGLD(DE-SGLD)と分散SGHMC(DE-SGHMC)の2つのアルゴリズムについて検討する。 後方分布が強い対数凹凸かつ滑らかである場合、これらのアルゴリズムのイテレートは、パラメータが適切に選択された場合、2-wasserstein距離の目標分布の近傍に線形に収束する。 分散ベイズ線形回帰問題とベイズロジスティック回帰問題に対するアルゴリズムの有効性について述べる。

関連論文リスト

• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Bayesian multiscale deep generative model for the solution of high-dimensional inverse problems [0.0]
  深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。 この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
  論文  参考訳（メタデータ） (2021-02-04T11:47:21Z)
• A Contour Stochastic Gradient Langevin Dynamics Algorithm for Simulations of Multi-modal Distributions [17.14287157979558]
  ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。 提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
  論文  参考訳（メタデータ） (2020-10-19T19:20:47Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Decentralized MCTS via Learned Teammate Models [89.24858306636816]
  本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。 深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T13:10:20Z)
• DDKSP: A Data-Driven Stochastic Programming Framework for Car-Sharing Relocation Problem [17.440172040605354]
  カーシェアリング再配置問題 (CSRP) を不確実な要求下で検討する。 この問題を解決するために、データ駆動カーネルプログラミング(DDKSP)と呼ばれる革新的なフレームワークが提案されている。 提案手法は純パラメトリックアプローチを3.72%,4.58%,11%で上回っている。
  論文  参考訳（メタデータ） (2020-01-20T19:04:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。