論文の概要: Concept Matching: Clustering-based Federated Continual Learning
- arxiv url: http://arxiv.org/abs/2311.06921v1
- Date: Sun, 12 Nov 2023 18:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:16:28.118515
- Title: Concept Matching: Clustering-based Federated Continual Learning
- Title（参考訳）: 概念マッチング:クラスタリングに基づく連続学習
- Authors: Xiaopeng Jiang, Cristian Borcea
- Abstract要約: 連立学習(FCL)は、連立学習(FL)と連立学習(CL)を組み合わせた有望なパラダイムとして登場した。
モデル精度を向上させるために、FCLはCLにおける概念のドリフトによる破滅的な忘れに対処し、FLにおけるクライアント間の潜在的な干渉を克服する必要がある。
これらの課題に対処するために、FCLのためのクラスタリングベースのフレームワークであるConcept Matching (CM)を提案する。
- 参考スコア（独自算出の注目度）: 5.846169954837452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Continual Learning (FCL) has emerged as a promising paradigm that
combines Federated Learning (FL) and Continual Learning (CL). To achieve good
model accuracy, FCL needs to tackle catastrophic forgetting due to concept
drift over time in CL, and to overcome the potential interference among clients
in FL. We propose Concept Matching (CM), a clustering-based framework for FCL
to address these challenges. The CM framework groups the client models into
concept model clusters, and then builds different global models to capture
different concepts in FL over time. In each round, the server sends the global
concept models to the clients. To avoid catastrophic forgetting, each client
selects the concept model best-matching the concept of the current data for
further fine-tuning. To avoid interference among client models with different
concepts, the server clusters the models representing the same concept,
aggregates the model weights in each cluster, and updates the global concept
model with the cluster model of the same concept. Since the server does not
know the concepts captured by the aggregated cluster models, we propose a novel
server concept matching algorithm that effectively updates a global concept
model with a matching cluster model. The CM framework provides flexibility to
use different clustering, aggregation, and concept matching algorithms. The
evaluation demonstrates that CM outperforms state-of-the-art systems and scales
well with the number of clients and the model size.
- Abstract（参考訳）: 連立学習(FCL)は、連立学習(FL)と連立学習(CL)を組み合わせた有望なパラダイムとして登場した。
モデル精度を向上させるために、FCLはCLにおけるコンセプトドリフトによる破滅的な忘れに対処し、FLにおけるクライアント間の潜在的な干渉を克服する必要がある。
これらの課題に対処するために、FCLのためのクラスタリングベースのフレームワークであるConcept Matching (CM)を提案する。
cmフレームワークはクライアントモデルをコンセプトモデルクラスタにグループ化し、さまざまなグローバルモデルを構築して、時間とともにflでさまざまなコンセプトをキャプチャする。
各ラウンドにおいて、サーバはグローバルコンセプトモデルをクライアントに送信する。
破滅的な忘れ物を避けるため、各クライアントは現在のデータの概念に最も合う概念モデルを選択し、さらに微調整を行う。
異なる概念を持つクライアントモデル間の干渉を避けるために、サーバは、同じ概念を表すモデルをクラスタ化し、各クラスタ内のモデル重みを集約し、同じ概念のクラスタモデルでグローバルコンセプトモデルを更新する。
サーバは集約されたクラスタモデルで得られた概念を知らないので,クラスタモデルを用いてグローバルな概念モデルを効果的に更新する新しいサーバ概念マッチングアルゴリズムを提案する。
cmフレームワークは、さまざまなクラスタリング、アグリゲーション、コンセプトマッチングアルゴリズムを使用するための柔軟性を提供する。
評価の結果、cmは最先端のシステムよりも優れており、クライアント数やモデルサイズとよく合っていることがわかった。
関連論文リスト
- Regularizing and Aggregating Clients with Class Distribution for Personalized Federated Learning [0.8287206589886879]
クラスワイドフェデレーション(cwFedAVG) クラスワイドで、サーバ上のクラスごとに複数のグローバルモデルを作成する。
各局所モデルは、その推定された局所クラス分布によって重み付けされたこれらの大域的モデルを統合し、深いネットワーク重みのL2ノルムから導かれる。
また,局所分布推定の精度を高めるために,新たにWDR (Weight Distribution Regularizer) を設計した。
論文 参考訳（メタデータ） (2024-06-12T01:32:24Z) - Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - Towards Client Driven Federated Learning [7.528642177161784]
私たちは、クライアントを駆動する新しいFLフレームワークであるクライアント駆動フェデレートラーニング(CDFL:Client-Driven Federated Learning)を紹介します。
CDFLでは、各クライアントは、ローカルにトレーニングされたモデルをサーバにアップロードし、ローカルタスクに合わせてカスタマイズされたモデルを受け取ることで、独立して非同期にモデルを更新する。
論文 参考訳（メタデータ） (2024-05-24T10:17:49Z) - Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。
CBMには、さらなる概念のセットが必要である。
CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
論文 参考訳（メタデータ） (2024-04-04T09:43:43Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳（メタデータ） (2024-02-23T03:15:10Z) - Clustered FedStack: Intermediate Global Models with Bayesian Information
Criterion [8.478300563501035]
本稿では,Stacked Federated Learning(FedStack)フレームワークに基づいた,新しいClustered FedStackフレームワークを提案する。
ローカルクライアントはモデル予測と出力層重み付けをサーバに送信し、堅牢なグローバルモデルを構築します。
このグローバルモデルは、クラスタリングメカニズムを使用して出力層重みに基づいて、ローカルクライアントをクラスタ化する。
論文 参考訳（メタデータ） (2023-09-20T03:47:53Z) - Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。
クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。
各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文 参考訳（メタデータ） (2023-06-21T17:39:16Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳（メタデータ） (2021-01-20T06:45:46Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。