論文の概要: Federated Continual Learning via Knowledge Fusion: A Survey
- arxiv url: http://arxiv.org/abs/2312.16475v1
- Date: Wed, 27 Dec 2023 08:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 19:13:23.314519
- Title: Federated Continual Learning via Knowledge Fusion: A Survey
- Title（参考訳）: 知識融合による連合型連続学習:調査
- Authors: Xin Yang, Hao Yu, Xin Gao, Hao Wang, Junbo Zhang and Tianrui Li
- Abstract要約: FCL(Federated Continual Learning)は、フェデレートされた学習環境と継続的な学習環境の両方において、モデル学習に対処する新たなパラダイムである。
FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。
本研究は,フェデレーション学習と継続学習をまず重視し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
- 参考スコア（独自算出の注目度）: 33.74289759536269
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Data privacy and silos are nontrivial and greatly challenging in many
real-world applications. Federated learning is a decentralized approach to
training models across multiple local clients without the exchange of raw data
from client devices to global servers. However, existing works focus on a
static data environment and ignore continual learning from streaming data with
incremental tasks. Federated Continual Learning (FCL) is an emerging paradigm
to address model learning in both federated and continual learning
environments. The key objective of FCL is to fuse heterogeneous knowledge from
different clients and retain knowledge of previous tasks while learning on new
ones. In this work, we delineate federated learning and continual learning
first and then discuss their integration, i.e., FCL, and particular FCL via
knowledge fusion. In summary, our motivations are four-fold: we (1) raise a
fundamental problem called ''spatial-temporal catastrophic forgetting'' and
evaluate its impact on the performance using a well-known method called
federated averaging (FedAvg), (2) integrate most of the existing FCL methods
into two generic frameworks, namely synchronous FCL and asynchronous FCL, (3)
categorize a large number of methods according to the mechanism involved in
knowledge fusion, and finally (4) showcase an outlook on the future work of
FCL.
- Abstract（参考訳）: データプライバシとサイロは、多くの現実世界のアプリケーションで非常に難しい。
フェデレーション学習(federated learning)は、クライアントデバイスからグローバルサーバへの生データを交換することなく、複数のローカルクライアントにまたがってモデルをトレーニングするための分散アプローチである。
しかし、既存の作業は静的なデータ環境にフォーカスし、インクリメンタルなタスクでストリーミングデータからの継続的な学習を無視している。
フェデレーション連続学習(federated continual learning, fcl)は、フェデレーション学習と連続学習の両方において、モデル学習に取り組むための新しいパラダイムである。
FCLの主な目的は、異なるクライアントからの異種知識を融合し、新しいタスクを学習しながら、以前のタスクの知識を保持することである。
本研究は,まずフェデレーション学習と継続学習を統合し,その統合,すなわちFCL,特にFCLを知識融合を通じて議論する。
In summary, our motivations are four-fold: we (1) raise a fundamental problem called ''spatial-temporal catastrophic forgetting'' and evaluate its impact on the performance using a well-known method called federated averaging (FedAvg), (2) integrate most of the existing FCL methods into two generic frameworks, namely synchronous FCL and asynchronous FCL, (3) categorize a large number of methods according to the mechanism involved in knowledge fusion, and finally (4) showcase an outlook on the future work of FCL.
関連論文リスト
- Federated Continual Learning for Edge-AI: A Comprehensive Survey [28.944063155195753]
Edge-AIでは、連合型連続学習(FCL)が命令型フレームワークとして登場している。
FCLは、動的および分散環境での学習モデルの安定的で信頼性の高いパフォーマンスを保証することを目的としている。
連立クラス連続学習,連立ドメイン連続学習,連立タスク連続学習の3つのタスク特性に基づくFCL手法について検討した。
論文 参考訳（メタデータ） (2024-11-20T22:49:28Z) - Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。
Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。
提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文 参考訳（メタデータ） (2024-11-11T07:36:19Z) - Federated Large Language Models: Current Progress and Future Directions [63.68614548512534]
本稿では,LLM(FedLLM)のフェデレーション学習について調査し,最近の進歩と今後の方向性を明らかにする。
ファインチューニングと迅速な学習という2つの重要な側面に注目し、既存の作業と関連する研究課題について議論する。
論文 参考訳（メタデータ） (2024-09-24T04:14:33Z) - Personalized Federated Continual Learning via Multi-granularity Prompt [33.84680453375976]
一般化表現をパーソナライズするために,多粒性プロンプト,すなわち粗粒大大域的プロンプトと細粒局所プロンプトという新しい概念を提案する。
粗粒度知識の排他的融合により、クライアント間の共通知識の伝達と洗練を実現し、パーソナライズの性能をさらに向上する。
論文 参考訳（メタデータ） (2024-06-27T13:41:37Z) - Collaborating Heterogeneous Natural Language Processing Tasks via
Federated Learning [55.99444047920231]
提案するATCフレームワークは, 各種ベースライン手法と比較して, 大幅な改善を実現している。
自然言語理解(NLU)タスクと自然言語生成(NLG)タスクを対象とする,広く使用されている6つのデータセットについて,広範な実験を行った。
論文 参考訳（メタデータ） (2022-12-12T09:27:50Z) - Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。
フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。
本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文 参考訳（メタデータ） (2022-11-24T13:08:43Z) - Federated Continual Learning for Text Classification via Selective
Inter-client Transfer [21.419581793986378]
本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。
フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。
ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。
そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
論文 参考訳（メタデータ） (2022-10-12T11:24:13Z) - Divergence-aware Federated Self-Supervised Learning [16.025681567222477]
我々は、Siameseネットワークに基づく既存のSSLメソッドを取り入れた一般化されたFedSSLフレームワークを紹介する。
次に、モデル更新のための新しいアプローチであるFederated Divergence-aware Exponential moving Average update (FedEMA)を提案する。
論文 参考訳（メタデータ） (2022-04-09T04:15:02Z) - A Framework of Meta Functional Learning for Regularising Knowledge
Transfer [89.74127682599898]
本研究では,データ豊富なタスクから一般化可能な関数型モデルをメタ学習することで,メタ関数型学習(MFL)の新たなフレームワークを提案する。
MFLは、限定ラベル付きデータに対する機能訓練が学習すべきより差別的な機能を促進することにより、異なる学習タスクに一般化可能な機能正規化に関するメタ知識を計算する。
論文 参考訳（メタデータ） (2022-03-28T15:24:09Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳（メタデータ） (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。