Fugu-MT 論文翻訳(概要): Gradient Coreset for Federated Learning

論文の概要: Gradient Coreset for Federated Learning

arxiv url: http://arxiv.org/abs/2401.06989v1
Date: Sat, 13 Jan 2024 06:17:17 GMT
ステータス: 処理完了
システム内更新日: 2024-01-17 20:18:12.763190
Title: Gradient Coreset for Federated Learning
Title（参考訳）: フェデレーション学習のための勾配コアセット
Authors: Durga Sivasubramanian, Lokesh Nagalapatti, Rishabh Iyer, Ganesh Ramakrishnan
Abstract要約: フェデレートラーニング(FL)は、複数のクライアントにまたがるデータを分割した機械学習モデルを学ぶために使用される。本稿では,各クライアントのコアセットを選択するアルゴリズムを提案する。我々のコアセット選択手法は,クライアントのデータ中のノイズを考慮した場合に非常に有効であることを示す。
参考スコア（独自算出の注目度）: 27.04322811181904
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) is used to learn machine learning models with data that is partitioned across multiple clients, including resource-constrained edge devices. It is therefore important to devise solutions that are efficient in terms of compute, communication, and energy consumption, while ensuring compliance with the FL framework's privacy requirements. Conventional approaches to these problems select a weighted subset of the training dataset, known as coreset, and learn by fitting models on it. Such coreset selection approaches are also known to be robust to data noise. However, these approaches rely on the overall statistics of the training data and are not easily extendable to the FL setup. In this paper, we propose an algorithm called Gradient based Coreset for Robust and Efficient Federated Learning (GCFL) that selects a coreset at each client, only every $K$ communication rounds and derives updates only from it, assuming the availability of a small validation dataset at the server. We demonstrate that our coreset selection technique is highly effective in accounting for noise in clients' data. We conduct experiments using four real-world datasets and show that GCFL is (1) more compute and energy efficient than FL, (2) robust to various kinds of noise in both the feature space and labels, (3) preserves the privacy of the validation dataset, and (4) introduces a small communication overhead but achieves significant gains in performance, particularly in cases when the clients' data is noisy.
Abstract（参考訳）: フェデレートラーニング(FL)は、リソース制約のあるエッジデバイスを含む複数のクライアント間でパーティショニングされたデータで機械学習モデルを学習するために使用される。したがって、FLフレームワークのプライバシ要件に準拠しつつ、計算、通信、エネルギー消費の面で効率的なソリューションを考案することが重要である。これらの問題に対する従来のアプローチでは、トレーニングデータセットの重み付きサブセット(coreset)を選択し、モデルに適合させることで学習する。このようなコアセット選択アプローチは、データノイズに対して堅牢であることも知られている。しかし、これらのアプローチはトレーニングデータの全体的な統計に依存しており、FL設定に容易に拡張できない。本稿では,各クライアントでコアセットを選択し,サーバでの小さな検証データセットの可用性を前提として,各K$通信ラウンド毎に更新のみを導出する,Gradient based Coreset for Robust and Efficient Federated Learning (GCFL) というアルゴリズムを提案する。コアセット選択手法は,クライアントのデータノイズの計算に非常に有効であることを実証する。実世界の4つのデータセットを用いて実験を行い,(1) FLよりも計算とエネルギー効率がよいこと,(2) 特徴空間とラベルの双方で様々なノイズに頑健であること,(3) 検証データセットのプライバシを維持すること,(4) 通信オーバヘッドが小さいこと,(4) クライアントのデータがノイズの多い場合に,パフォーマンスが著しく向上することを示す。

関連論文リスト

Optimizing Federated Learning by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedOptEntは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。提案手法は,最先端のアルゴリズムを最大6%の精度で高速化する。
論文参考訳（メタデータ） (2024-11-02T13:31:36Z)
TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering [0.0]
本稿では,Tsetlin-Personalized Federated Learningと呼ばれる新しい手法を提案する。このように、モデルは特定のクラスに対する信頼性に基づいてクラスタにグループ化される。クライアントは信頼しているものだけを共有し、結果として誤った重み付けが排除される。その結果、TPFLはMNISTで98.94%、FashionMNISTで98.52%、FEMNISTデータセットで91.16%の精度でベースライン法よりも優れた性能を示した。
論文参考訳（メタデータ） (2024-09-16T15:27:35Z)
FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文参考訳（メタデータ） (2024-02-13T20:04:39Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
FedDBL: Communication and Data Efficient Federated Deep-Broad Learning for Histopathological Tissue Classification [65.7405397206767]
本稿では,FedDBL(Federated Deep-Broad Learning)を提案する。 FedDBLは1ラウンドの通信と限られたトレーニングサンプルで競合相手をはるかに上回り、マルチラウンドの通信で同等のパフォーマンスを達成している。異なるクライアント間でのデータやディープモデルを共有しないため、プライバシ問題は十分に解決されており、モデルのセキュリティはモデル反転攻撃のリスクなしに保証される。
論文参考訳（メタデータ） (2023-02-24T14:27:41Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
論文参考訳（メタデータ） (2022-11-05T13:41:19Z)
DReS-FL: Dropout-Resilient Secure Federated Learning for Non-IID Clients via Secret Data Sharing [7.573516684862637]
フェデレートラーニング(FL)は、クライアントのプライベートデータを集中的に収集することなく、機械学習モデルの協調トレーニングを可能にする。本稿では,ラグランジュコンピューティングに基づくDropout-Resilient Secure Federated Learningフレームワークを提案する。 DReS-FLはクライアントのドロップアウトに対して耐性があり、ローカルデータセットのプライバシ保護を提供する。
論文参考訳（メタデータ） (2022-10-06T05:04:38Z)
Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
論文参考訳（メタデータ） (2022-05-02T16:09:17Z)
Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文参考訳（メタデータ） (2021-06-24T11:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。