論文の概要: Connecting Federated ADMM to Bayes
- arxiv url: http://arxiv.org/abs/2501.17325v2
- Date: Fri, 28 Feb 2025 17:57:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:39:57.449001
- Title: Connecting Federated ADMM to Bayes
- Title（参考訳）: 連合ADMMとベイズをつなぐ
- Authors: Siddharth Swaroop, Mohammad Emtiyaz Khan, Finale Doshi-Velez,
- Abstract要約: 我々は, (i) ADMM と (ii) 変分ベイズ (VB) に基づく2つの異なる連邦学習アプローチの新たな接続を提供する。
具体的には、ADMMの双対変数は、等方的ガウス共分散を持つVBで用いられる「サイト」パラメータを通して自然に現れることを示す。
フレキシブルな共分散と機能正規化を利用するVBからADMMの2つのバージョンを導出する。
- 参考スコア（独自算出の注目度）: 37.51925873721984
- License:
- Abstract: We provide new connections between two distinct federated learning approaches based on (i) ADMM and (ii) Variational Bayes (VB), and propose new variants by combining their complementary strengths. Specifically, we show that the dual variables in ADMM naturally emerge through the 'site' parameters used in VB with isotropic Gaussian covariances. Using this, we derive two versions of ADMM from VB that use flexible covariances and functional regularisation, respectively. Through numerical experiments, we validate the improvements obtained in performance. The work shows connection between two fields that are believed to be fundamentally different and combines them to improve federated learning.
- Abstract（参考訳）: 我々は2つの異なるフェデレーション学習アプローチ間の新たなつながりを提供する。
(i)ADMMおよびADMM
(II)変分ベイズ(VB)と相補的強度を組み合わせた新しい変分を提案する。
具体的には、ADMMの双対変数は、等方的ガウス共分散を持つVBで使われる「サイト」パラメータを通して自然に現れることを示す。
これを用いて、フレキシブルな共分散と機能正規化を用いるVBからADMMの2つのバージョンを導出する。
数値実験により,性能改善の検証を行った。
この研究は、基本的に異なると信じられている2つの分野の関連性を示し、それらを組み合わせて連合学習を改善する。
関連論文リスト
- Distributed Primal-Dual Algorithms: Unification, Connections, and Insights [5.87788855821817]
分散環境での一般的な経験的リスク最小化問題に対する原始双対アルゴリズムについて検討する。
アルゴリズムの両クラスは、原始変数と双対変数のみを含む統一された更新形式に変換可能であることを示す。
論文 参考訳（メタデータ） (2025-02-01T15:56:11Z) - Pilot: Building the Federated Multimodal Instruction Tuning Framework [79.56362403673354]
本フレームワークは、視覚エンコーダとLCMのコネクタに「アダプタのアダプタ」の2つの段階を統合する。
ステージ1では視覚情報からタスク固有の特徴とクライアント固有の特徴を抽出する。
ステージ2では、クロスタスクインタラクションを実行するために、クロスタスクMixture-of-Adapters(CT-MoA)モジュールを構築します。
論文 参考訳（メタデータ） (2025-01-23T07:49:24Z) - Efficient Mixture Learning in Black-Box Variational Inference [50.21722672770176]
我々は,Multiple Importance Smpling Variational Autoencoder (MISVAE)を紹介する。
BBVI中の混合物に対するELBOの新しい2つの推定器を構築し,推定時間を大幅に短縮する。
MNIST上でMISVAE実験を行い, 驚くべきSOTA結果を得た。
論文 参考訳（メタデータ） (2024-06-11T09:16:43Z) - Combinatorial Multivariant Multi-Armed Bandits with Applications to Episodic Reinforcement Learning and Beyond [58.39457881271146]
CMAB(Multi-armed bandits)の多変量および確率的トリガーアーム(CMAB-MT)を用いた新しい枠組みを導入する。
CMAB-MTは既存のCMABと比べ、モデリング能力を高めるだけでなく、多変量確率変数の異なる統計特性を活用することで結果を改善することができる。
本フレームワークは, エピソード強化学習(RL)や商品分布の確率的最大カバレッジなど, 応用として多くの重要な問題を含むことができる。
論文 参考訳（メタデータ） (2024-06-03T14:48:53Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Rethinking the Metric in Few-shot Learning: From an Adaptive
Multi-Distance Perspective [30.30691830639013]
距離の異なる指標の寄与について検討し,適応型融合方式を提案する。
アダプティブ・メトリックス・モジュール(AMM)に基づいて、AMMやグローバル・アダプティブ・ロス(GAL)を含む数発の分類フレームワークであるAMTNetを設計する。
実験では,提案したAMMは実測値の融合モジュールよりも2%高い性能を達成し,AMTNetは複数のベンチマークデータセットで最先端の性能を向上する。
論文 参考訳（メタデータ） (2022-11-02T05:30:03Z) - Learning with MISELBO: The Mixture Cookbook [62.75516608080322]
本稿では,VampPriorとPixelCNNデコーダネットワークを用いて,フローベース階層型変分オートエンコーダ(VAE)の正規化のための変分近似を初めて提案する。
我々は、この協調行動について、VIと適応的重要度サンプリングの新たな関係を描いて説明する。
我々は、MNISTおよびFashionMNISTデータセット上の負のログ類似度の観点から、VAEアーキテクチャの最先端結果を得る。
論文 参考訳（メタデータ） (2022-09-30T15:01:35Z) - Generalized ADMM in Distributed Learning via Variational Inequality [7.013072937051018]
コンセンサス変数の概念による乗算器の交互方向法(ADMM)は実用的なアルゴリズムである。
本稿では,ADMMの分散学習におけるユーザのローカルデータセットの効果について検討する。
論文 参考訳（メタデータ） (2021-04-26T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。