Fugu-MT 論文翻訳(概要): FedFisher: Leveraging Fisher Information for One-Shot Federated Learning

論文の概要: FedFisher: Leveraging Fisher Information for One-Shot Federated Learning

arxiv url: http://arxiv.org/abs/2403.12329v1
Date: Tue, 19 Mar 2024 00:03:40 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 15:51:27.234162
Title: FedFisher: Leveraging Fisher Information for One-Shot Federated Learning
Title（参考訳）: FedFisher: ワンショットフェデレーションラーニングのための漁業情報を活用する
Authors: Divyansh Jhunjhunwala, Shiqiang Wang, Gauri Joshi,
Abstract要約: One-Shot FLは、サーバが単一の通信ラウンドでグローバルモデルをトレーニングできるようにすることによって、この問題に対処することを目的とした、新しいパラダイムである。本稿ではFedFisherを提案する。FedFisherは、ローカルクライアントモデルで計算されたフィッシャー情報行列を利用するワンショットFLのための新しいアルゴリズムである。
参考スコア（独自算出の注目度）: 30.853710518272532
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Standard federated learning (FL) algorithms typically require multiple rounds of communication between the server and the clients, which has several drawbacks, including requiring constant network connectivity, repeated investment of computational resources, and susceptibility to privacy attacks. One-Shot FL is a new paradigm that aims to address this challenge by enabling the server to train a global model in a single round of communication. In this work, we present FedFisher, a novel algorithm for one-shot FL that makes use of Fisher information matrices computed on local client models, motivated by a Bayesian perspective of FL. First, we theoretically analyze FedFisher for two-layer over-parameterized ReLU neural networks and show that the error of our one-shot FedFisher global model becomes vanishingly small as the width of the neural networks and amount of local training at clients increases. Next, we propose practical variants of FedFisher using the diagonal Fisher and K-FAC approximation for the full Fisher and highlight their communication and compute efficiency for FL. Finally, we conduct extensive experiments on various datasets, which show that these variants of FedFisher consistently improve over competing baselines.
Abstract（参考訳）: FL(Standard Federated Learning)アルゴリズムは、通常、サーバとクライアント間の複数ラウンドの通信を必要とする。 One-Shot FLは、サーバが単一の通信ラウンドでグローバルモデルをトレーニングできるようにすることによって、この問題に対処することを目的とした、新しいパラダイムである。本稿では,FedFisherについて述べる。FedFisherはFedFisherという一発FLのための新しいアルゴリズムで,FedFisherはローカルクライアントモデルで計算されたFisher情報行列を利用しており,これはFLのベイズ的視点によって動機付けられている。まず,2層オーバーパラメータ化されたReLUニューラルネットワークのFedFisherを理論的に解析し,ニューラルネットワークの幅とクライアントでのローカルトレーニングの量が増加するにつれて,ワンショットのFedFisherグローバルモデルの誤差が著しく小さくなることを示す。次に、フルフィッシャーに対する対角的フィッシャーとK-FAC近似を用いたFedFisherの実用的な変種を提案し、FLの通信と計算効率を強調した。最後に,FedFisherのこれらの変種は,競合するベースラインよりも一貫して改善されていることを示す。

関連論文リスト

An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文参考訳（メタデータ） (2024-02-17T05:22:46Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文参考訳（メタデータ） (2022-12-03T03:27:51Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices [40.69663094185572]
フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
論文参考訳（メタデータ） (2021-09-30T16:52:13Z)
FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems [40.421253127588244]
フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
論文参考訳（メタデータ） (2021-07-04T08:03:15Z)
Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文参考訳（メタデータ） (2021-06-20T13:51:18Z)
FedNS: Improving Federated Learning for collaborative image classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文参考訳（メタデータ） (2021-01-20T06:45:46Z)
Personalized Federated Learning with Moreau Envelopes [16.25105865597947]
フェデレートラーニング(Federated Learning, FL)は、分散されたプライバシ保護機械学習技術である。 FLに関連する課題の1つは、クライアント間の統計的多様性である。封筒正規化損失関数を用いたパーソナライズFL(FedFedMe)のアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-16T00:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。