論文の概要: QLSD: Quantised Langevin stochastic dynamics for Bayesian federated learning

• arxiv url: http://arxiv.org/abs/2106.00797v1
• Date: Tue, 1 Jun 2021 21:08:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:48:37.114911
• Title: QLSD: Quantised Langevin stochastic dynamics for Bayesian federated learning
• Title（参考訳）: QLSD:ベイズ連邦学習のための量子Langevin確率力学
• Authors: Maxime Vono, Vincent Plassier, Alain Durmus, Aymeric Dieuleveut, Eric Moulines
• Abstract要約: フェデレーション学習は、データが分散化され、複数のクライアントにローカルに保存された場合に推論を実行することを目的としている。 本稿では,グラデーション・ランゲヴィン・ダイナミクスの量子化バージョンに基づいて,モンテカルロアルゴリズムのテキストtQLSDを提案する。
• 参考スコア（独自算出の注目度）: 27.836719155735807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning aims at conducting inference when data are decentralised and locally stored on several clients, under two main constraints: data ownership and communication overhead. In this paper, we address these issues under the Bayesian paradigm. To this end, we propose a novel Markov chain Monte Carlo algorithm coined \texttt{QLSD} built upon quantised versions of stochastic gradient Langevin dynamics. To improve performance in a big data regime, we introduce variance-reduced alternatives of our methodology referred to as \texttt{QLSD}$^\star$ and \texttt{QLSD}$^{++}$. We provide both non-asymptotic and asymptotic convergence guarantees for the proposed algorithms and illustrate their benefits on several federated learning benchmarks.
• Abstract（参考訳）: フェデレーション学習は、データが分散化され、複数のクライアントにローカルに保存された場合に、データオーナシップと通信オーバーヘッドという2つの主な制約の下で推論を実行することを目的としている。 本稿では,これらの問題をベイズパラダイムのもとで扱う。 この目的のために,確率勾配ランジュバンダイナミクスの量子化バージョンを基盤とした,新しいマルコフ連鎖モンテカルロアルゴリズムを提案する。 ビッグデータシステムの性能向上のために,本稿では,<texttt{QLSD}$^\star$および<texttt{QLSD}$^{++}$と呼ばれる方法論の分散還元代替案を紹介する。 我々は,提案アルゴリズムの非漸近収束保証と漸近収束保証の両方を提供し,その利点を複数のフェデレート学習ベンチマークで示す。

関連論文リスト

• Stochastic-Constrained Stochastic Optimization with Markovian Data [2.1756081703276]
  マルコフ連鎖からデータサンプルが引き出され、したがって独立性がなく、同一に分布しないような環境について検討する。 ドリフト・プラス・ペナルティの2つの変種を提案する。ひとつは、基礎となるマルコフ鎖の混合時間を知る場合である。 我々のアルゴリズムは、制約関数列がマルコフ連鎖に従うような制約付きオンライン凸最適化のより一般的な設定に適用できる。
  論文  参考訳（メタデータ） (2023-12-07T14:09:27Z)
• Non-convex Bayesian Learning via Stochastic Gradient Markov Chain Monte Carlo [4.656426393230839]
  人工知能(AI)の台頭は、非トリップと不確実性のための現代のディープニューラルネットワーク(DNN)の効率性を重視している。 本論文ではモンテカルロ利用問題を扱うためのツールを提案する。 また,基礎となる正規方程式(ODE)システムに対する2つの動的重要度サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-30T18:25:11Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Sarah Frank-Wolfe: Methods for Constrained Optimization with Best Rates and Practical Features [65.64276393443346]
  Frank-Wolfe (FW) 法は、構造化制約による最適化問題の解法として一般的な手法である。 有限サム勾配の最小化のためのアルゴリズムの2つの新しい変種を示す。
  論文  参考訳（メタデータ） (2023-04-23T20:05:09Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Projection-free Constrained Stochastic Nonconvex Optimization with State-dependent Markov Data [0.0]
  マルコフ型データを用いた制約付き非マルコフ型ケースチェーン問題に対するプロジェクションフリー勾配型アルゴリズムを提案する。 また,ニューラルネットワークを用いた戦略的分類の問題に対して,アルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2022-06-22T19:43:15Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Contrastive Self-supervised Sequential Recommendation with Robust Augmentation [101.25762166231904]
  Sequential Recommendation Describes a set of technique to model dynamic user behavior to order to predict future interaction in sequence user data。 データスパーシリティやノイズの多いデータなど、古くて新しい問題はまだ残っている。 逐次レコメンデーション(CoSeRec)のためのコントラスト型自己監督学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T07:15:25Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。