論文の概要: Stochastic Approximation Approach to Federated Machine Learning

• arxiv url: http://arxiv.org/abs/2402.12945v1
• Date: Tue, 20 Feb 2024 12:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 15:32:10.183226
• Title: Stochastic Approximation Approach to Federated Machine Learning
• Title（参考訳）: フェデレーション機械学習への確率近似的アプローチ
• Authors: Srihari P V and Bharath Bhikkaji
• Abstract要約: 本稿では、近似(SA)フレームワークにおけるフェデレートラーニング(FL)について検討する。 FLは、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングする、協調的な方法である。 提案アルゴリズムは頑健であり,より信頼性の高い重み推定を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper examines Federated learning (FL) in a Stochastic Approximation (SA) framework. FL is a collaborative way to train neural network models across various participants or clients without centralizing their data. Each client will train a model on their respective data and send the weights across to a the server periodically for aggregation. The server aggregates these weights which are then used by the clients to re-initialize their neural network and continue the training. SA is an iterative algorithm that uses approximate sample gradients and tapering step size to locate a minimizer of a cost function. In this paper the clients use a stochastic approximation iterate to update the weights of its neural network. It is shown that the aggregated weights track an autonomous ODE. Numerical simulations are performed and the results are compared with standard algorithms like FedAvg and FedProx. It is observed that the proposed algorithm is robust and gives more reliable estimates of the weights, in particular when the clients data are not identically distributed.
• Abstract（参考訳）: 本稿では,確率近似(SA)フレームワークにおけるフェデレーション学習(FL)について検討する。 flは、データを集中化することなく、さまざまな参加者やクライアント間でニューラルネットワークモデルをトレーニングするためのコラボレーティブな方法である。 各クライアントはそれぞれのデータに基づいてモデルをトレーニングし、定期的に重みをサーバに送信して集約する。 サーバはこれらの重みを集約し、クライアントがニューラルネットワークを再初期化し、トレーニングを続けるために使用する。 saは、近似的なサンプル勾配とテーピングステップサイズを用いてコスト関数の最小値を求める反復アルゴリズムである。 本稿では,ニューラルネットワークの重みを更新するために,確率近似を反復的に使用する。 集約された重みは自律的なODEを追跡する。 数値シミュレーションを行い、その結果をFedAvgやFedProxといった標準的なアルゴリズムと比較する。 提案アルゴリズムはロバストであり,特にクライアントデータが同一に分散していない場合,より信頼性の高い重み推定を行う。

関連論文リスト

• Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
  各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。 本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
  論文  参考訳（メタデータ） (2024-06-03T08:48:49Z)
• Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
  我々は,FedND:Federated Learning with noise distillationを提案する。 クライアントでは,局所モデルを学習するための自己蒸留法を提案する。 サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。 実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
  論文  参考訳（メタデータ） (2023-06-26T06:14:01Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Sparse Random Networks for Communication-Efficient Federated Learning [23.614934319624826]
  連合学習における大きな課題の1つは、各ラウンドでクライアントからサーバへの重み付け更新を交換する通信コストが大きいことである。 重みをまったく更新しない、根本的に異なるアプローチを提案する。 代わりに,本手法は,初期エンファンドム値の重みを凍結し,最適な性能を得るためにランダムネットワークのスパース化方法を学ぶ。
  論文  参考訳（メタデータ） (2022-09-30T09:11:09Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
  フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。 本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。 我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
  論文  参考訳（メタデータ） (2021-11-19T12:58:59Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)
• Towards Federated Learning With Byzantine-Robust Client Weighting [2.294014185517203]
  フェデレート学習のための実践的な重み付けに基づく事前処理手法を提案する。 本手法は, モデル品質とビザンツのロバスト性とのバランスが良好であることを示す。
  論文  参考訳（メタデータ） (2020-04-10T10:59:16Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。