論文の概要: DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks

• arxiv url: http://arxiv.org/abs/2511.12836v1
• Date: Sun, 16 Nov 2025 23:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.571332
• Title: DIGing--SGLD: Decentralized and Scalable Langevin Sampling over Time--Varying Networks
• Title（参考訳）: DIGing--SGLD:分散およびスケーラブルなLangevinサンプリングによる時間変化ネットワーク
• Authors: Waheed U. Bajwa, Mert Gurbuzbalaban, Mustafa Ali Kutbay, Lingjiong Zhu, Muhammad Zulqarnain,
• Abstract要約: 本稿では,マルチエージェントシステムにおけるスケーラブルベイズ学習のための分散SGLDアルゴリズムであるDIGing-SGLDを紹介する。 時間変化ネットワーク上での分散SGLDに基づくサンプリングのための,最初の有限時間非漸近収束保証を提供する。
• 参考スコア（独自算出の注目度）: 7.477601047470181
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sampling from a target distribution induced by training data is central to Bayesian learning, with Stochastic Gradient Langevin Dynamics (SGLD) serving as a key tool for scalable posterior sampling and decentralized variants enabling learning when data are distributed across a network of agents. This paper introduces DIGing-SGLD, a decentralized SGLD algorithm designed for scalable Bayesian learning in multi-agent systems operating over time-varying networks. Existing decentralized SGLD methods are restricted to static network topologies, and many exhibit steady-state sampling bias caused by network effects, even when full batches are used. DIGing-SGLD overcomes these limitations by integrating Langevin-based sampling with the gradient-tracking mechanism of the DIGing algorithm, originally developed for decentralized optimization over time-varying networks, thereby enabling efficient and bias-free sampling without a central coordinator. To our knowledge, we provide the first finite-time non-asymptotic Wasserstein convergence guarantees for decentralized SGLD-based sampling over time-varying networks, with explicit constants. Under standard strong convexity and smoothness assumptions, DIGing-SGLD achieves geometric convergence to an $O(\sqrtη)$ neighborhood of the target distribution, where $η$ is the stepsize, with dependence on the target accuracy matching the best-known rates for centralized and static-network SGLD algorithms using constant stepsize. Numerical experiments on Bayesian linear and logistic regression validate the theoretical results and demonstrate the strong empirical performance of DIGing-SGLD under dynamically evolving network conditions.
• Abstract（参考訳）: トレーニングデータによって誘導されるターゲットディストリビューションからのサンプリングは、Stochastic Gradient Langevin Dynamics(SGLD)が、エージェントのネットワークに分散したデータの学習を可能にする、スケーラブルな後続サンプリングと分散変異のためのキーツールとして機能する、ベイズ学習の中心である。 本稿では,分散SGLDアルゴリズムであるDIGing-SGLDを紹介する。 既存の分散SGLD法は静的ネットワークトポロジに制限されており、多くはネットワーク効果による定常的なサンプリングバイアスを示す。 DIGing-SGLDは、LangevinベースのサンプリングとDIGingアルゴリズムの勾配追跡機構を統合することでこれらの制限を克服する。 我々の知る限り、時間変動ネットワーク上での分散SGLDに基づくサンプリングを明示定数で行うために、最初の有限時間非漸近的なワッサーシュタイン収束保証を提供する。 標準の強い凸性と滑らかさの仮定の下で、DIGing-SGLDは、目標分布の$O(\sqrtη)$近傍への幾何収束を達成する。 ベイズ線形回帰およびロジスティック回帰に関する数値実験は、動的に進化するネットワーク条件下でのDIGing-SGLDの強い経験的性能を実証し、理論結果を検証する。

関連論文リスト

• Generalized EXTRA stochastic gradient Langevin dynamics [6.899153618328339]
  ランゲヴィンアルゴリズムは、ベイズ学習のためのマルコフ・チェイン・モンテカルロ法(Markov Chain Monte Carlo method)として人気がある。 Langevin dynamics (SGLD)のような彼らのバージョンは、ランダムにサンプリングされたミニバッチに基づいた反復学習を可能にする。 通信とプライバシーの制約を受けるエージェントのネットワークでデータが分散化されると、標準のSGLDアルゴリズムは適用できない。
  論文  参考訳（メタデータ） (2024-12-02T21:57:30Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Decentralized SGD and Average-direction SAM are Asymptotically Equivalent [101.37242096601315]
  分散勾配降下(D-SGD)は、中央サーバを制御せずに大規模デバイス上で協調学習を可能にする。 既存の理論では、分散化は必ず一般化される。
  論文  参考訳（メタデータ） (2023-06-05T14:19:52Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks [30.231314171218994]
  分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。 そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
  論文  参考訳（メタデータ） (2021-12-20T08:23:36Z)
• Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging [48.99717153937717]
  本稿では、ウェイトアビジングサブグループであるWAGMA-SGDについて述べる。 ImageNet上でResNet-50をトレーニングし、機械翻訳用のトランスフォーマー、大規模ナビゲーションのための深い強化学習を行う。 最先端の分散SGDと比較すると、WAGMA-SGDはトレーニングのスループットを大幅に改善する。
  論文  参考訳（メタデータ） (2020-04-30T22:11:53Z)
• Overlap Local-SGD: An Algorithmic Approach to Hide Communication Delays in Distributed SGD [32.03967072200476]
  We propose a algorithmic approach named OverlapLocal-Local-Local-SGD (Local momentum variant)。 各ノードにアンカーモデルを追加することでこれを実現する。 複数のローカルアップデートの後、ローカルにトレーニングされたモデルは、他の人と通信するのではなく、アンカーモデルへと引き戻される。
  論文  参考訳（メタデータ） (2020-02-21T20:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。