論文の概要: Federated ADMM from Bayesian Duality

• arxiv url: http://arxiv.org/abs/2506.13150v1
• Date: Mon, 16 Jun 2025 07:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.59512
• Title: Federated ADMM from Bayesian Duality
• Title（参考訳）: ベイジアン双対によるAdMMのフェデレーション
• Authors: Thomas Möllenhoff, Siddharth Swaroop, Finale Doshi-Velez, Mohammad Emtiyaz Khan,
• Abstract要約: フェデレートされたADMMを導出し、拡張する、根本的に新しい方法を提案する。 等方性ガウス後部を用いた場合,ADMMは自然に回復する。 我々の研究は、原始双対法を改善するための新しいベイズ的道を開く。
• 参考スコア（独自算出の注目度）: 39.71963030043193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ADMM is a popular method for federated deep learning which originated in the 1970s and, even though many new variants of it have been proposed since then, its core algorithmic structure has remained unchanged. Here, we take a major departure from the old structure and present a fundamentally new way to derive and extend federated ADMM. We propose to use a structure called Bayesian Duality which exploits a duality of the posterior distributions obtained by solving a variational-Bayesian reformulation of the original problem. We show that this naturally recovers the original ADMM when isotropic Gaussian posteriors are used, and yields non-trivial extensions for other posterior forms. For instance, full-covariance Gaussians lead to Newton-like variants of ADMM, while diagonal covariances result in a cheap Adam-like variant. This is especially useful to handle heterogeneity in federated deep learning, giving up to 7% accuracy improvements over recent baselines. Our work opens a new Bayesian path to improve primal-dual methods.
• Abstract（参考訳）: ADMMは1970年代に始まり、それ以来多くの新しい変種が提案されてきたが、その中心となるアルゴリズム構造は変わっていない。 ここでは、古い構造から大きく離れ、連合ADMMを導出し、拡張する根本的な新しい方法を提示します。 本稿では,元の問題の変分ベイズ的再構成を解くことで得られる後続分布の双対性を利用して,ベイズ的双対性(Bayesian Duality)という構造を提案する。 等方性ガウス後部を用いた場合,これは自然にADMMを回復し,他の後部形式に対する非自明な拡張をもたらすことを示す。 例えば、フル共分散ガウス多様体はニュートン様の ADMM の変種を導き、対角共分散はアダム様の変種を安価に導く。 これは、フェデレートされたディープラーニングにおける不均一性を扱うのに特に有用であり、最近のベースラインよりも最大7%精度が向上している。 我々の研究は、原始双対法を改善するための新しいベイズ的道を開く。

関連論文リスト

• Distributed Primal-Dual Algorithms: Unification, Connections, and Insights [5.87788855821817]
  分散環境での一般的な経験的リスク最小化問題に対する原始双対アルゴリズムについて検討する。 アルゴリズムの両クラスは、原始変数と双対変数のみを含む統一された更新形式に変換可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-01T15:56:11Z)
• Connecting Federated ADMM to Bayes [37.51925873721984]
  我々は, (i) ADMM と (ii) 変分ベイズ (VB) に基づく2つの異なる連邦学習アプローチの新たな接続を提供する。 具体的には、ADMMの双対変数は、等方的ガウス共分散を持つVBで用いられる「サイト」パラメータを通して自然に現れることを示す。 フレキシブルな共分散と機能正規化を利用するVBからADMMの2つのバージョンを導出する。
  論文  参考訳（メタデータ） (2025-01-28T22:37:25Z)
• MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
  深層ニューラルネットワークのための統合トレーニングフレームワークを提案する。 我々は,事前条件付き勾配最適化を利用するMARSの3つの例を紹介する。 その結果,MARSの実装はAdamより一貫して優れていた。
  論文  参考訳（メタデータ） (2024-11-15T18:57:39Z)
• A General Continuous-Time Formulation of Stochastic ADMM and Its Variants [5.269633789700637]
  我々は、一般化ADMMと呼ばれる統一的なアルゴリズムフレームワークを導入する。 継続的分析によって、ADMMと変種に関する新たな洞察が得られます。 適切なスケーリングの下では、ADMMの軌道は小さい雑音を持つ微分方程式の解に弱収束することが証明される。
  論文  参考訳（メタデータ） (2024-04-22T17:12:58Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Improving Variational Autoencoders with Density Gap-based Regularization [16.770753948524167]
  変分オートエンコーダ(VAE)は、潜時表現学習と潜時指向生成のためのNLPにおける強力な非教師なし学習フレームワークの1つである。 実際には、ELBoの最適化は、全ての試料の後方分布を同じ分解された局所最適値、すなわち後崩壊またはKL消滅に収束させる。 本稿では, 階層化後分布と先行分布との確率的密度ギャップに基づく新しい正規化により, 両問題に対処する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-11-01T08:17:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Bilevel Online Adaptation for Out-of-Domain Human Mesh Reconstruction [94.25865526414717]
  本稿では,事前に訓練されたヒトメッシュ再構築モデルをドメイン外ストリーミングビデオに適応させるという新たな問題を検討する。 重みプローブと重み更新の2つのステップに全体多対象の最適化プロセスを分割するBilevel Online Adaptationを提案します。 BOAが2つのヒューマンメッシュ再構築ベンチマークで最先端の結果をもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-03-30T15:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。