Fugu-MT 論文翻訳(概要): FedSiKD: Clients Similarity and Knowledge Distillation: Addressing Non-i.i.d. and Constraints in Federated Learning

論文の概要: FedSiKD: Clients Similarity and Knowledge Distillation: Addressing Non-i.i.d. and Constraints in Federated Learning

arxiv url: http://arxiv.org/abs/2402.09095v1
Date: Wed, 14 Feb 2024 11:16:50 GMT
ステータス: 処理完了
システム内更新日: 2024-02-15 15:56:22.644662
Title: FedSiKD: Clients Similarity and Knowledge Distillation: Addressing Non-i.i.d. and Constraints in Federated Learning
Title（参考訳）: FedSiKD: クライアントの類似性と知識蒸留: フェデレート学習における非i.d.と制約への対応
Authors: Yousef Alsenani, Rahul Mishra, Khaled R. Ahmed, Atta Ur Rahman
Abstract要約: 我々は、類似性に基づくフェデレート学習フレームワークに知識蒸留(KD)を組み込んだFedSiKDを紹介する。クライアントがシステムに参加すると、データ配布に関する関連する統計情報を安全に共有し、クラスタ内の均一性を促進する。 FedSiKDは、HARおよびMNISTデータセット上で、高度に歪んだデータに対して25%と18%の精度で最先端のアルゴリズムより優れている。
参考スコア（独自算出の注目度）: 7.718401895021425
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In recent years, federated learning (FL) has emerged as a promising technique for training machine learning models in a decentralized manner while also preserving data privacy. The non-independent and identically distributed (non-i.i.d.) nature of client data, coupled with constraints on client or edge devices, presents significant challenges in FL. Furthermore, learning across a high number of communication rounds can be risky and potentially unsafe for model exploitation. Traditional FL approaches may suffer from these challenges. Therefore, we introduce FedSiKD, which incorporates knowledge distillation (KD) within a similarity-based federated learning framework. As clients join the system, they securely share relevant statistics about their data distribution, promoting intra-cluster homogeneity. This enhances optimization efficiency and accelerates the learning process, effectively transferring knowledge between teacher and student models and addressing device constraints. FedSiKD outperforms state-of-the-art algorithms by achieving higher accuracy, exceeding by 25\% and 18\% for highly skewed data at $\alpha = {0.1,0.5}$ on the HAR and MNIST datasets, respectively. Its faster convergence is illustrated by a 17\% and 20\% increase in accuracy within the first five rounds on the HAR and MNIST datasets, respectively, highlighting its early-stage learning proficiency. Code is publicly available and hosted on GitHub (https://github.com/SimuEnv/FedSiKD)
Abstract（参考訳）: 近年、フェデレーテッド・ラーニング(FL)は、データプライバシを保ちながら、分散的な方法で機械学習モデルをトレーニングするための有望な技術として出現している。非独立で同一に分散したクライアントデータの性質は、クライアントやエッジデバイスの制約と相まって、FLにおいて重大な課題を提起している。さらに、多数のコミュニケーションラウンドにわたる学習は、モデルのエクスプロイトにおいてリスクが高く、潜在的に安全ではない可能性がある。従来のFLアプローチはこれらの課題に悩まされる可能性がある。そこで我々は,類似性に基づくフェデレート学習フレームワークに知識蒸留(KD)を組み込んだFedSiKDを紹介する。クライアントがシステムに参加すると、データ分散に関する関連する統計情報を安全に共有し、クラスタ内均質性を促進する。これにより、最適化効率が向上し、学習プロセスが加速し、教師と生徒の間で知識を効果的に伝達し、デバイス制約に対処する。 FedSiKDは、HARデータセットとMNISTデータセットでそれぞれ$\alpha = {0.1,0.5}$で高度に歪んだデータに対して25\%と18\%を超える精度で最先端のアルゴリズムより優れている。その高速な収束は、harとmnistデータセットの最初の5ラウンドにおいて、それぞれ17\%と20\%の精度向上を示し、早期の学習能力を強調している。コードはGitHubで公開されている(https://github.com/SimuEnv/FedSiKD)。

関連論文リスト

TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering [0.0]
本稿では,Tsetlin-Personalized Federated Learningと呼ばれる新しい手法を提案する。このように、モデルは特定のクラスに対する信頼性に基づいてクラスタにグループ化される。クライアントは信頼しているものだけを共有し、結果として誤った重み付けが排除される。その結果、TPFLはMNISTで98.94%、FashionMNISTで98.52%、FEMNISTデータセットで91.16%の精度でベースライン法よりも優れた性能を示した。
論文参考訳（メタデータ） (2024-09-16T15:27:35Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。 FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文参考訳（メタデータ） (2023-03-31T10:13:01Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文参考訳（メタデータ） (2022-09-10T05:20:31Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文参考訳（メタデータ） (2022-01-25T04:43:29Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文参考訳（メタデータ） (2020-11-14T06:52:02Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。