論文の概要: Concept Matching: Clustering-based Federated Continual Learning
- arxiv url: http://arxiv.org/abs/2311.06921v1
- Date: Sun, 12 Nov 2023 18:31:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:16:28.118515
- Title: Concept Matching: Clustering-based Federated Continual Learning
- Title(参考訳): 概念マッチング:クラスタリングに基づく連続学習
- Authors: Xiaopeng Jiang, Cristian Borcea
- Abstract要約: 連立学習(FCL)は、連立学習(FL)と連立学習(CL)を組み合わせた有望なパラダイムとして登場した。
モデル精度を向上させるために、FCLはCLにおける概念のドリフトによる破滅的な忘れに対処し、FLにおけるクライアント間の潜在的な干渉を克服する必要がある。
これらの課題に対処するために、FCLのためのクラスタリングベースのフレームワークであるConcept Matching (CM)を提案する。
- 参考スコア(独自算出の注目度): 5.846169954837452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Continual Learning (FCL) has emerged as a promising paradigm that
combines Federated Learning (FL) and Continual Learning (CL). To achieve good
model accuracy, FCL needs to tackle catastrophic forgetting due to concept
drift over time in CL, and to overcome the potential interference among clients
in FL. We propose Concept Matching (CM), a clustering-based framework for FCL
to address these challenges. The CM framework groups the client models into
concept model clusters, and then builds different global models to capture
different concepts in FL over time. In each round, the server sends the global
concept models to the clients. To avoid catastrophic forgetting, each client
selects the concept model best-matching the concept of the current data for
further fine-tuning. To avoid interference among client models with different
concepts, the server clusters the models representing the same concept,
aggregates the model weights in each cluster, and updates the global concept
model with the cluster model of the same concept. Since the server does not
know the concepts captured by the aggregated cluster models, we propose a novel
server concept matching algorithm that effectively updates a global concept
model with a matching cluster model. The CM framework provides flexibility to
use different clustering, aggregation, and concept matching algorithms. The
evaluation demonstrates that CM outperforms state-of-the-art systems and scales
well with the number of clients and the model size.
- Abstract(参考訳): 連立学習(FCL)は、連立学習(FL)と連立学習(CL)を組み合わせた有望なパラダイムとして登場した。
モデル精度を向上させるために、FCLはCLにおけるコンセプトドリフトによる破滅的な忘れに対処し、FLにおけるクライアント間の潜在的な干渉を克服する必要がある。
これらの課題に対処するために、FCLのためのクラスタリングベースのフレームワークであるConcept Matching (CM)を提案する。
cmフレームワークはクライアントモデルをコンセプトモデルクラスタにグループ化し、さまざまなグローバルモデルを構築して、時間とともにflでさまざまなコンセプトをキャプチャする。
各ラウンドにおいて、サーバはグローバルコンセプトモデルをクライアントに送信する。
破滅的な忘れ物を避けるため、各クライアントは現在のデータの概念に最も合う概念モデルを選択し、さらに微調整を行う。
異なる概念を持つクライアントモデル間の干渉を避けるために、サーバは、同じ概念を表すモデルをクラスタ化し、各クラスタ内のモデル重みを集約し、同じ概念のクラスタモデルでグローバルコンセプトモデルを更新する。
サーバは集約されたクラスタモデルで得られた概念を知らないので,クラスタモデルを用いてグローバルな概念モデルを効果的に更新する新しいサーバ概念マッチングアルゴリズムを提案する。
cmフレームワークは、さまざまなクラスタリング、アグリゲーション、コンセプトマッチングアルゴリズムを使用するための柔軟性を提供する。
評価の結果、cmは最先端のシステムよりも優れており、クライアント数やモデルサイズとよく合っていることがわかった。
関連論文リスト
- Sparse Concept Bottleneck Models: Gumbel Tricks in Contrastive Learning [86.15009879251386]
概念ボトルネックモデル(CBM)を用いた新しいアーキテクチャと説明可能な分類法を提案する。
CBMには、さらなる概念のセットが必要である。
CLIPをベースとしたボトルネックモデルにおいて,スパース隠れ層を用いた精度の大幅な向上を示す。
論文 参考訳(メタデータ) (2024-04-04T09:43:43Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳(メタデータ) (2024-02-23T03:15:10Z) - CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data [25.56641696086199]
フェデレートラーニング(FL)は、サーバがクライアントのグループと協力してクライアントのデータにアクセスせずにグローバルモデルを学ぶ、分散機械学習パラダイムを提供する。
本稿では,CLIP誘導FL法(CLIP2FL)を提案する。
論文 参考訳(メタデータ) (2023-12-14T04:07:49Z) - Clustered FedStack: Intermediate Global Models with Bayesian Information
Criterion [8.478300563501035]
本稿では,Stacked Federated Learning(FedStack)フレームワークに基づいた,新しいClustered FedStackフレームワークを提案する。
ローカルクライアントはモデル予測と出力層重み付けをサーバに送信し、堅牢なグローバルモデルを構築します。
このグローバルモデルは、クラスタリングメカニズムを使用して出力層重みに基づいて、ローカルクライアントをクラスタ化する。
論文 参考訳(メタデータ) (2023-09-20T03:47:53Z) - Timely Asynchronous Hierarchical Federated Learning: Age of Convergence [59.96266198512243]
クライアント-エッジ-クラウドフレームワークを用いた非同期階層型フェデレーション学習環境について検討する。
クライアントはトレーニングされたパラメータをエッジサーバと交換し、ローカルに集約されたモデルを更新する。
各クライアントの目標は、クライアントのタイムラインを維持しながら、グローバルモデルに収束することだ。
論文 参考訳(メタデータ) (2023-06-21T17:39:16Z) - FedCross: Towards Accurate Federated Learning via Multi-Model Cross
Aggregation [8.57349615028429]
フェデレートラーニング(FL)は、データサイロ問題に対処するための有望な分散機械学習パラダイムであると考えられている。
本稿では,FedCrossという名前の効率的なFLフレームワークを提案する。
FLトレーニングの各ラウンドでは、FedCrossはモデル類似性のガイダンスの下で重み付き融合を行うために、小さな中間モデルのセットを使用する。
論文 参考訳(メタデータ) (2022-10-15T13:12:11Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T13:03:27Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳(メタデータ) (2021-02-03T08:36:58Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳(メタデータ) (2021-01-20T06:45:46Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。