Fugu-MT 論文翻訳(概要): Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity

論文の概要: Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity

arxiv url: http://arxiv.org/abs/2312.13380v1
Date: Wed, 20 Dec 2023 19:11:19 GMT
ステータス: 処理完了
システム内更新日: 2023-12-22 16:48:13.146636
Title: Fed-QSSL: A Framework for Personalized Federated Learning under Bitwidth and Data Heterogeneity
Title（参考訳）: Fed-QSSL: ビット幅とデータの均一性の下での個人化フェデレーション学習のためのフレームワーク
Authors: Yiyue Chen, Haris Vikalo, Chianing Wang
Abstract要約: Fed-QSSL (Federated Quantization-based self-supervised learning scheme) はFLシステムの不均一性に対処するために設計された。 Fed-QSSLは、デ量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に、各クライアントのデバイスのデータ分散と特定のインフラストラクチャの両方にパーソナライズされたモデルを作成する。
参考スコア（独自算出の注目度）: 14.313847382199059
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Motivated by high resource costs of centralized machine learning schemes as well as data privacy concerns, federated learning (FL) emerged as an efficient alternative that relies on aggregating locally trained models rather than collecting clients' potentially private data. In practice, available resources and data distributions vary from one client to another, creating an inherent system heterogeneity that leads to deterioration of the performance of conventional FL algorithms. In this work, we present a federated quantization-based self-supervised learning scheme (Fed-QSSL) designed to address heterogeneity in FL systems. At clients' side, to tackle data heterogeneity we leverage distributed self-supervised learning while utilizing low-bit quantization to satisfy constraints imposed by local infrastructure and limited communication resources. At server's side, Fed-QSSL deploys de-quantization, weighted aggregation and re-quantization, ultimately creating models personalized to both data distribution as well as specific infrastructure of each client's device. We validated the proposed algorithm on real world datasets, demonstrating its efficacy, and theoretically analyzed impact of low-bit training on the convergence and robustness of the learned models.
Abstract（参考訳）: 集中型機械学習スキームの高リソースコストとデータプライバシの懸念により、フェデレーション学習(FL)は、クライアントの潜在的プライベートデータを集めるのではなく、ローカルにトレーニングされたモデルの集約に依存する効率的な代替手段として登場した。実際には、利用可能なリソースとデータ分布はクライアントによって異なるため、従来のFLアルゴリズムの性能が低下する固有のシステム不均一性を生成する。本稿では,flシステムの不均一性に対処するために設計された,フェデレート量子化に基づく自己教師付き学習方式(fed-qssl)を提案する。クライアント側では、データの不均一性に取り組むために、ローカルインフラストラクチャや限られた通信リソースの制約を満たすために、低ビット量子化を活用しながら分散自己教師付き学習を利用する。サーバ側では、Fed-QSSLは非量子化、重み付けされたアグリゲーション、再量子化をデプロイし、最終的に各クライアントのデバイスの特定のインフラストラクチャだけでなく、データ分散の両方にパーソナライズされたモデルを作成する。提案アルゴリズムを実世界データセット上で検証し,その効果を実証し,学習モデルの収束性とロバスト性に対する低ビットトレーニングの影響を理論的に解析した。

関連論文リスト

FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文参考訳（メタデータ） (2024-10-17T22:47:19Z)
Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
論文参考訳（メタデータ） (2024-09-24T03:59:32Z)
FedClust: Tackling Data Heterogeneity in Federated Learning through Weight-Driven Client Clustering [26.478852701376294]
フェデレートラーニング(Federated Learning, FL)は、分散機械学習のパラダイムである。 FLの主な課題の1つは、クライアントデバイスにまたがる不均一なデータ分散の存在である。我々は,局所モデル重みとクライアントのデータ分布の相関を利用したCFLの新しい手法であるFedClustを提案する。
論文参考訳（メタデータ） (2024-07-09T02:47:16Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文参考訳（メタデータ） (2022-06-05T01:14:46Z)
Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文参考訳（メタデータ） (2021-08-23T15:47:53Z)
Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
論文参考訳（メタデータ） (2021-07-14T08:32:39Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。