論文の概要: FedLog: Personalized Federated Classification with Less Communication and More Flexibility

• arxiv url: http://arxiv.org/abs/2407.08337v1
• Date: Thu, 11 Jul 2024 09:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 18:09:27.558559
• Title: FedLog: Personalized Federated Classification with Less Communication and More Flexibility
• Title（参考訳）: FedLog: コミュニケーションの少ないパーソナライズされたフェデレーション分類と柔軟性向上
• Authors: Haolin Yu, Guojun Zhang, Pascal Poupart,
• Abstract要約: FedAvgが提案するフェデレートラーニング(FL)では、クライアントがローカルモデルをプライベートデータでトレーニングし、モデルパラメータを中央集約のために共有する。 クライアントはモデルパラメータとローカルデータサマリーを共有せず、共有コストを削減できることを提案する。 我々は,局所データの十分な統計しか共有しないベイズ推定を用いた新しいアルゴリズムであるFedLogを開発した。
• 参考スコア（独自算出の注目度）: 24.030147353437382
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In federated learning (FL), the common paradigm that FedAvg proposes and most algorithms follow is that clients train local models with their private data, and the model parameters are shared for central aggregation, mostly averaging. In this paradigm, the communication cost is often a challenge, as modern massive neural networks can contain millions to billions parameters. We suggest that clients do not share model parameters but local data summaries, to decrease the cost of sharing. We develop a new algorithm FedLog with Bayesian inference, which shares only sufficient statistics of local data. FedLog transmits messages as small as the last layer of the original model. We conducted comprehensive experiments to show we outperform other FL algorithms that aim at decreasing the communication cost. To provide formal privacy guarantees, we further extend FedLog with differential privacy and show the trade-off between privacy budget and accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)では、FedAvgが提案し、ほとんどのアルゴリズムが従う共通のパラダイムは、クライアントがローカルモデルをプライベートデータでトレーニングすることであり、モデルパラメータは中央集約のために共有され、ほとんどが平均化である。 このパラダイムでは、現代の大規模ニューラルネットワークは数百万から数十億のパラメータを含むことができるため、通信コストが課題になることが多い。 クライアントはモデルパラメータとローカルデータサマリーを共有せず、共有コストを削減できることを提案する。 我々は,局所データの十分な統計しか共有しないベイズ推定を用いた新しいアルゴリズムであるFedLogを開発した。 FedLogは、元のモデルの最後の層と同じくらい小さなメッセージを送信します。 通信コストの低減を目的とした他のFLアルゴリズムよりも優れた性能を示すための総合的な実験を行った。 正式なプライバシー保証を提供するため、差分プライバシーでFedLogをさらに拡張し、プライバシー予算と精度のトレードオフを示す。

関連論文リスト

• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 フェレットは、ランダム性を共有する最初の一階法である。 高い計算効率、通信オーバーヘッドの低減、高速収束を実現している。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Personalized Federated Learning via Maximizing Correlation with Sparse and Hierarchical Extensions [14.862798952297105]
  Federated Learning(FL)は、クライアントのプライベートデータを取得することなくグローバルモデルをトレーニングするための、協調的な機械学習技術である。 相関関係を最大化するpFedMacを用いた新しい個人化フェデレーション学習を提案する。 pFedMac は L2-norm 距離に基づくパーソナライズ手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-12T11:43:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。