論文の概要: Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
- arxiv url: http://arxiv.org/abs/2110.12257v1
- Date: Sat, 23 Oct 2021 16:34:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-31 21:20:58.516991
- Title: Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
- Title（参考訳）: game of gradients: フェデレーション学習における無関係なクライアントの軽減
- Authors: Lokesh Nagalapatti, Ramasuri Narayanam
- Abstract要約: フェデレートラーニング(FL)は、中央サーバのオーケストレーションの下で、機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。
この設定では、各クライアントのデータは自身にプライベートであり、他のクライアントやサーバに転送できない。
我々はこれらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
- 参考スコア（独自算出の注目度）: 3.2095659532757916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paradigm of Federated learning (FL) deals with multiple clients
participating in collaborative training of a machine learning model under the
orchestration of a central server. In this setup, each client's data is private
to itself and is not transferable to other clients or the server. Though FL
paradigm has received significant interest recently from the research
community, the problem of selecting the relevant clients w.r.t. the central
server's learning objective is under-explored. We refer to these problems as
Federated Relevant Client Selection (FRCS). Because the server doesn't have
explicit control over the nature of data possessed by each client, the problem
of selecting relevant clients is significantly complex in FL settings. In this
paper, we resolve important and related FRCS problems viz., selecting clients
with relevant data, detecting clients that possess data relevant to a
particular target label, and rectifying corrupted data samples of individual
clients. We follow a principled approach to address the above FRCS problems and
develop a new federated learning method using the Shapley value concept from
cooperative game theory. Towards this end, we propose a cooperative game
involving the gradients shared by the clients. Using this game, we compute
Shapley values of clients and then present Shapley value based Federated
Averaging (S-FedAvg) algorithm that empowers the server to select relevant
clients with high probability. S-FedAvg turns out to be critical in designing
specific algorithms to address the FRCS problems. We finally conduct a thorough
empirical analysis on image classification and speech recognition tasks to show
the superior performance of S-FedAvg than the baselines in the context of
supervised federated learning settings.
- Abstract（参考訳）: フェデレーション・ラーニング(fl)のパラダイムは、中央サーバのオーケストレーションの下で機械学習モデルの協調トレーニングに参加する複数のクライアントを扱う。
この設定では、各クライアントのデータは自分自身にプライベートであり、他のクライアントやサーバに転送できない。
近年、FLパラダイムは研究コミュニティから大きな関心を集めているが、中央サーバの学習目標である関連するクライアントを選択するという問題は未調査である。
これらの問題をFederated Relevant Client Selection (FRCS)と呼ぶ。
サーバは各クライアントが保持するデータの性質を明示的に制御していないため、関連するクライアントを選択する問題はfl設定において著しく複雑である。
本稿では、重要かつ関連するfrcs問題vizを解決し、関連するデータを持つクライアントを選択し、特定のターゲットラベルに関連するデータを有するクライアントを検出し、個々のクライアントの腐敗したデータサンプルを補正する。
上記のfrcs問題に対処するための原理的アプローチに従い,協調ゲーム理論からshapley値の概念を用いた新しい連合学習法を開発した。
この目的に向けて,クライアントが共有する勾配を考慮した協調ゲームを提案する。
このゲームを用いてクライアントのshapley値を計算し、s-fedavg(s-fedavg)アルゴリズムにより、サーバが関連するクライアントを高い確率で選択できるようにする。
S-FedAvgはFRCS問題に対処する特定のアルゴリズムの設計において重要であることがわかった。
S-FedAvgは,教師付きフェデレーション学習環境において,ベースラインよりも優れた性能を示すため,画像分類と音声認識タスクの徹底的な実証分析を行った。
関連論文リスト
- Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。
我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
論文 参考訳（メタデータ） (2024-09-30T14:31:19Z) - Utilizing Free Clients in Federated Learning for Focused Model
Enhancement [9.370655190768163]
Federated Learning(FL)は、分散機械学習のアプローチで、分散化された異種データのモデルを学ぶ。
我々はこの課題に対処するためにFedALIGN(Federated Adaptive Learning with Inclusion of Global Needs)を提案する。
論文 参考訳（メタデータ） (2023-10-06T18:23:40Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Graph Federated Learning with Hidden Representation Sharing [33.01999333117515]
グラフの学習 (Learning on Graphs, LoG) は、各クライアントがローカルデータが不十分な場合、マルチクライアントシステムで広く利用されている。
フェデレートラーニング(FL)では、モデルをマルチクライアントシステムでトレーニングし、クライアント間で生データを共有する必要がある。
本稿では,まず,マルチクライアントシステムにおいてLoG FLを統一するグラフフェデレーション学習(GFL)問題を定式化し,次に隠れ表現の共有を提案する。
論文 参考訳（メタデータ） (2022-12-23T05:44:27Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - DeFed: A Principled Decentralized and Privacy-Preserving Federated
Learning Algorithm [10.487593244018933]
フェデレートラーニングは、多数のクライアントが、各クライアントに格納されたトレーニングデータを維持しながら、共有モデル学習に参加することを可能にする。
本稿では、従来のフェデレーション平均化(FedAvg)設定における中心的クライアントを除去する、分散型分散学習アルゴリズム(DeFed)を提案する。
提案アルゴリズムは, 損失関数が滑らかで, 強凸である場合には, 収束率$O(1/T)$で大域的最小値に達することが証明された。
論文 参考訳（メタデータ） (2021-07-15T07:39:19Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。