論文の概要: Generalized EXTRA stochastic gradient Langevin dynamics
- arxiv url: http://arxiv.org/abs/2412.01993v1
- Date: Mon, 02 Dec 2024 21:57:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:41:27.092884
- Title: Generalized EXTRA stochastic gradient Langevin dynamics
- Title（参考訳）: 一般化EXTRA確率勾配ランゲヴィンダイナミクス
- Authors: Mert Gurbuzbalaban, Mohammad Rafiqul Islam, Xiaoyu Wang, Lingjiong Zhu,
- Abstract要約: ランゲヴィンアルゴリズムは、ベイズ学習のためのマルコフ・チェイン・モンテカルロ法(Markov Chain Monte Carlo method)として人気がある。
Langevin dynamics (SGLD)のような彼らのバージョンは、ランダムにサンプリングされたミニバッチに基づいた反復学習を可能にする。
通信とプライバシーの制約を受けるエージェントのネットワークでデータが分散化されると、標準のSGLDアルゴリズムは適用できない。
- 参考スコア（独自算出の注目度）: 11.382163777108385
- License:
- Abstract: Langevin algorithms are popular Markov Chain Monte Carlo methods for Bayesian learning, particularly when the aim is to sample from the posterior distribution of a parametric model, given the input data and the prior distribution over the model parameters. Their stochastic versions such as stochastic gradient Langevin dynamics (SGLD) allow iterative learning based on randomly sampled mini-batches of large datasets and are scalable to large datasets. However, when data is decentralized across a network of agents subject to communication and privacy constraints, standard SGLD algorithms cannot be applied. Instead, we employ decentralized SGLD (DE-SGLD) algorithms, where Bayesian learning is performed collaboratively by a network of agents without sharing individual data. Nonetheless, existing DE-SGLD algorithms induce a bias at every agent that can negatively impact performance; this bias persists even when using full batches and is attributable to network effects. Motivated by the EXTRA algorithm and its generalizations for decentralized optimization, we propose the generalized EXTRA stochastic gradient Langevin dynamics, which eliminates this bias in the full-batch setting. Moreover, we show that, in the mini-batch setting, our algorithm provides performance bounds that significantly improve upon those of standard DE-SGLD algorithms in the literature. Our numerical results also demonstrate the efficiency of the proposed approach.
- Abstract（参考訳）: ランゲヴィンアルゴリズムは、ベイズ学習のためのマルコフ・チェイン・モンテカルロ法(特に、入力データとモデルパラメータの事前分布からパラメトリックモデルの後部分布からサンプリングしようとする場合)で人気がある。
確率勾配ランゲヴィンダイナミクス(SGLD)のような確率的なバージョンは、ランダムにサンプリングされた大規模なデータセットのミニバッチに基づいた反復学習を可能にし、大規模なデータセットにスケーラブルである。
しかし、通信とプライバシーの制約を受けるエージェントのネットワークでデータが分散化されると、標準のSGLDアルゴリズムは適用できない。
代わりに、分散SGLD(DE-SGLD)アルゴリズムを採用し、ベイズ学習は個々のデータを共有することなくエージェントのネットワークによって協調的に行われる。
それでも、既存のDEC-SGLDアルゴリズムは、パフォーマンスに悪影響を及ぼす全てのエージェントにバイアスを生じさせる。
分散最適化のためのEXTRAアルゴリズムとその一般化により,全バッチ設定におけるこのバイアスを排除した一般化EXTRA確率勾配ランゲヴィンダイナミクスを提案する。
さらに,本手法では,文献における標準D-SGLDアルゴリズムよりも性能が大幅に向上することを示す。
また,提案手法の有効性を示す数値計算を行った。
関連論文リスト
- Stability and Generalization for Distributed SGDA [70.97400503482353]
分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。
我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。
理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
論文 参考訳（メタデータ） (2024-11-14T11:16:32Z) - Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - A Dataset Fusion Algorithm for Generalised Anomaly Detection in
Homogeneous Periodic Time Series Datasets [0.0]
データセットフュージョン(Dataset Fusion)とは、複数の同種データセットからの周期的な信号を単一のデータセットに融合するアルゴリズムである。
提案手法は,平均F1スコア0.879で従来の訓練方法よりも有意に優れていた。
その結果、トレーニングデータの6.25%しか使用せず、計算能力の93.7%削減に換算すると、パフォーマンスは4.04%低下することがわかった。
論文 参考訳（メタデータ） (2023-05-14T16:24:09Z) - Joint Graph Learning and Model Fitting in Laplacian Regularized
Stratified Models [5.933030735757292]
ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。
本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。
本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
論文 参考訳（メタデータ） (2023-05-04T06:06:29Z) - LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral
Image Generation with Variance Regularization [72.4394510913927]
ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。
GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。
この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。
本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
論文 参考訳（メタデータ） (2023-04-29T00:25:02Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Efficiency Ordering of Stochastic Gradient Descent [9.634481296779057]
我々は、任意のグラフ上のノイズやランダムウォークを含む一般的なサンプリングシーケンスによって駆動される勾配降下(SGD)アルゴリズムについて検討する。
我々は、マルコフ・チェイン・モンテカルロサンプリング器の性能を比較するためのよく分析されたツールである「効率順序付け」の概念を採用している。
論文 参考訳（メタデータ） (2022-09-15T16:50:55Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - A Contour Stochastic Gradient Langevin Dynamics Algorithm for
Simulations of Multi-modal Distributions [17.14287157979558]
ビッグデータ統計学の学習のための適応重み付き勾配ランゲヴィン力学(SGLD)を提案する。
提案アルゴリズムは、CIFAR100を含むベンチマークデータセットで検証される。
論文 参考訳（メタデータ） (2020-10-19T19:20:47Z) - Decentralized Stochastic Gradient Langevin Dynamics and Hamiltonian
Monte Carlo [8.94392435424862]
分散SGLD (DE-SGLD) と分散SGHMC (DE-SGHMC) は、大規模データセットの分散設定におけるスケール可能なベイズ推論のためのアルゴリズムである。
後続分布が強対数で滑らかである場合、これらのアルゴリズムの繰り返しは2-ワッサーシュタイン距離における対象分布の近傍に線形に収束することを示す。
論文 参考訳（メタデータ） (2020-07-01T16:26:00Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。