Fugu-MT 論文翻訳(概要): Personalized Decentralized Federated Learning with Knowledge Distillation

論文の概要: Personalized Decentralized Federated Learning with Knowledge Distillation

arxiv url: http://arxiv.org/abs/2302.12156v1
Date: Thu, 23 Feb 2023 16:41:07 GMT
ステータス: 処理完了
システム内更新日: 2023-02-24 14:31:40.172980
Title: Personalized Decentralized Federated Learning with Knowledge Distillation
Title（参考訳）: 知識蒸留による個人化分散フェデレーション学習
Authors: Eunjeong Jeong, Marios Kountouris
Abstract要約: フェデレート学習機能のパーソナライゼーションは、データや振る舞いのばらつきが高いクライアントのコーディネータとして機能する。一般に、分散ネットワークにおいて、他のユーザーのモデルについて限られた知識の下で類似性を定量化することは困難である。本研究では,局所モデル間の統計的距離を識別するために,知識蒸留技術を活用したパーソナライズされた完全分散FLアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 5.469841541565307
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Personalization in federated learning (FL) functions as a coordinator for clients with high variance in data or behavior. Ensuring the convergence of these clients' models relies on how closely users collaborate with those with similar patterns or preferences. However, it is generally challenging to quantify similarity under limited knowledge about other users' models given to users in a decentralized network. To cope with this issue, we propose a personalized and fully decentralized FL algorithm, leveraging knowledge distillation techniques to empower each device so as to discern statistical distances between local models. Each client device can enhance its performance without sharing local data by estimating the similarity between two intermediate outputs from feeding local samples as in knowledge distillation. Our empirical studies demonstrate that the proposed algorithm improves the test accuracy of clients in fewer iterations under highly non-independent and identically distributed (non-i.i.d.) data distributions and is beneficial to agents with small datasets, even without the need for a central server.
Abstract（参考訳）: フェデレーション学習(fl)におけるパーソナライゼーションは,データや行動のばらつきが高いクライアントのコーディネータとして機能する。これらのクライアントのモデルの収束を保証するには、同じようなパターンや好みを持つユーザとの密接なコラボレーションに依存する。しかし,分散ネットワークでは,他のユーザのモデルに関する限られた知識の下で類似性を定量化することが一般的である。この問題に対処するために,各装置に知識蒸留技術を活用し,局所モデル間の統計的距離を識別するパーソナライズされた完全分散FLアルゴリズムを提案する。各クライアント装置は、知識蒸留における2つの中間出力間の類似性を推定することにより、ローカルデータを共有することなく、その性能を向上させることができる。実験により,提案アルゴリズムは,非独立かつ同一に分散したデータ分布において,より少ないイテレーションでクライアントのテスト精度を向上し,中央サーバを必要とせずとも,小さなデータセットを持つエージェントにとって有益であることを示す。

関連論文リスト

FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Anomaly Detection through Unsupervised Federated Learning [0.0]
フェデレートラーニングは、分散リソースを活用する上で最も有望なパラダイムの1つであることが証明されています。本稿では,前処理フェーズを通じて,クライアントをコミュニティにグループ化する手法を提案する。結果の異常検出モデルは共有され、同じコミュニティのクライアント内の異常を検出するために使用される。
論文参考訳（メタデータ） (2022-09-09T08:45:47Z)
A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文参考訳（メタデータ） (2021-11-04T04:57:11Z)
Decentralized federated learning of deep neural networks on non-iid data [0.6335848702857039]
分散環境でパーソナライズされたディープラーニングモデルを学ぶことの難しさに対処する。本稿では,PENS(Performance-Based Neighbor Selection)という手法を提案する。 PENSは強力なベースラインに比べて高い精度を達成することができる。
論文参考訳（メタデータ） (2021-07-18T19:05:44Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文参考訳（メタデータ） (2020-12-24T01:43:53Z)
Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。