論文の概要: Federated learning with incremental clustering for heterogeneous data
- arxiv url: http://arxiv.org/abs/2206.08752v1
- Date: Fri, 17 Jun 2022 13:13:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 14:33:19.000205
- Title: Federated learning with incremental clustering for heterogeneous data
- Title（参考訳）: 不均一データに対するインクリメンタルクラスタリングによるフェデレーション学習
- Authors: Fabiola Espinoza Castellon, Aurelien Mayoue, Jacques-Henri
Sublemontier, Cedric Gouy-Pailler
- Abstract要約: 以前のアプローチでは、クライアントをクラスタ化するには、サーバはクライアントにパラメータを同時に送信する必要がある。
本稿では,FLIC(Federated Learning with Incremental Clustering)を提案する。
我々は,この手法がクライアントを同じデータ分布に従うグループに分割することに成功していることを実証的に示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning enables different parties to collaboratively build a
global model under the orchestration of a server while keeping the training
data on clients' devices. However, performance is affected when clients have
heterogeneous data. To cope with this problem, we assume that despite data
heterogeneity, there are groups of clients who have similar data distributions
that can be clustered. In previous approaches, in order to cluster clients the
server requires clients to send their parameters simultaneously. However, this
can be problematic in a context where there is a significant number of
participants that may have limited availability. To prevent such a bottleneck,
we propose FLIC (Federated Learning with Incremental Clustering), in which the
server exploits the updates sent by clients during federated training instead
of asking them to send their parameters simultaneously. Hence no additional
communications between the server and the clients are necessary other than what
classical federated learning requires. We empirically demonstrate for various
non-IID cases that our approach successfully splits clients into groups
following the same data distributions. We also identify the limitations of FLIC
by studying its capability to partition clients at the early stages of the
federated learning process efficiently. We further address attacks on models as
a form of data heterogeneity and empirically show that FLIC is a robust defense
against poisoning attacks even when the proportion of malicious clients is
higher than 50\%.
- Abstract（参考訳）: フェデレーション学習は、クライアントのデバイスにトレーニングデータを保持しながら、サーバのオーケストレーションの下で、さまざまなパーティが協力してグローバルモデルを構築することを可能にする。
しかし、クライアントが異質なデータを持っている場合、パフォーマンスは影響を受ける。
この問題に対処するために、データの不均一性にもかかわらず、同様のデータ分布を持つクライアント群がクラスタ化できると仮定する。
以前のアプローチでは、クライアントをクラスタ化するには、クライアントがパラメータを同時に送信する必要がある。
しかし、可用性に制限のある参加者がかなりの数いる状況では、これは問題となる可能性がある。
このようなボトルネックを回避するために,サーバが同時にパラメータを送信するのではなく,クライアントから送信される更新を活用できるFLIC(Federated Learning with Incremental Clustering)を提案する。
したがって、サーバとクライアントの間の追加の通信は、古典的な連合学習に必要なもの以外は不要である。
我々は,この手法がクライアントを同じデータ分布に従うグループに分割することに成功していることを示す。
また、フェデレート学習プロセスの初期段階において、クライアントを分割する能力を効率よく研究することで、FLICの限界を識別する。
さらに,データの不均質性としてモデルへの攻撃にも対処し,悪意のあるクライアントの割合が50\%以上であっても,flicは中毒攻撃に対する強固な防御であることを示す。
関連論文リスト
- $r$Age-$k$: Communication-Efficient Federated Learning Using Age Factor [31.285983939625098]
Federated Learning(FL)は、パラメータサーバ(PS)によって調整された複数のクライアントが統合された機械学習モデルをトレーニングする、協調的なアプローチである。
本稿では,FLの2つの制限に対処するために,情報量測定の年齢を用いた新しい通信効率アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-29T16:30:34Z) - A Bayesian Framework for Clustered Federated Learning [14.426129993432193]
連邦学習(FL)の主な課題の1つは、非独立で同一に分散された(非IID)クライアントデータを扱うことである。
本稿では、クライアントをクラスタに関連付けるクラスタ化FLのための統一ベイズフレームワークを提案する。
この作業は、クライアントとクラスタの関連に関する洞察を提供し、新しい方法でクライアントの知識共有を可能にする。
論文 参考訳（メタデータ） (2024-10-20T19:11:24Z) - Efficient Federated Unlearning under Plausible Deniability [1.795561427808824]
機械学習は、特定のデータポイントが重みに与える影響を忘れるため、MLパラメータを変更することでこの問題に対処する。
最近の文献では、データポイント(s)からのコントリビューションが、確率が1に近いデータセット内の他のデータポイントで鍛えられることが強調されている。
本稿では、FLサーバがクライアントの参加を確実に否定できるプライバシーモデルを用いて、フェデレートされたアンラーニングを実現する効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T18:08:24Z) - Fair Federated Data Clustering through Personalization: Bridging the Gap between Diverse Data Distributions [2.7905216619150344]
フェデレーションクラスタリングにおけるパーソナライズの概念を導入し、より低いクラスタリングコストとクライアント間の均一なコストのバランスを達成することを目的とする。
サーバとクライアント間の1ラウンドの通信でこれらの目標に対処するp-FClusを提案する。
論文 参考訳（メタデータ） (2024-07-05T07:10:26Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳（メタデータ） (2023-03-07T14:11:01Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Efficient Distribution Similarity Identification in Clustered Federated
Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。
既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。
以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
論文 参考訳（メタデータ） (2022-09-21T17:37:54Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - On the Convergence of Clustered Federated Learning [57.934295064030636]
統合学習システムでは、例えばモバイルデバイスや組織参加者といったクライアントは通常、個人の好みや行動パターンが異なる。
本稿では,クライアントグループと各クライアントを統一最適化フレームワークで活用する,新しい重み付きクライアントベースクラスタリングFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-13T02:39:19Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。