論文の概要: Personalized Federated Continual Learning via Multi-granularity Prompt

• arxiv url: http://arxiv.org/abs/2407.00113v1
• Date: Thu, 27 Jun 2024 13:41:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 06:20:13.915340
• Title: Personalized Federated Continual Learning via Multi-granularity Prompt
• Title（参考訳）: 多粒性プロンプトによる個人化フェデレーション連続学習
• Authors: Hao Yu, Xin Yang, Xin Gao, Yan Kang, Hao Wang, Junbo Zhang, Tianrui Li,
• Abstract要約: 一般化表現をパーソナライズするために,多粒性プロンプト,すなわち粗粒大大域的プロンプトと細粒局所プロンプトという新しい概念を提案する。 粗粒度知識の排他的融合により、クライアント間の共通知識の伝達と洗練を実現し、パーソナライズの性能をさらに向上する。
• 参考スコア（独自算出の注目度）: 33.84680453375976
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Personalized Federated Continual Learning (PFCL) is a new practical scenario that poses greater challenges in sharing and personalizing knowledge. PFCL not only relies on knowledge fusion for server aggregation at the global spatial-temporal perspective but also needs model improvement for each client according to the local requirements. Existing methods, whether in Personalized Federated Learning (PFL) or Federated Continual Learning (FCL), have overlooked the multi-granularity representation of knowledge, which can be utilized to overcome Spatial-Temporal Catastrophic Forgetting (STCF) and adopt generalized knowledge to itself by coarse-to-fine human cognitive mechanisms. Moreover, it allows more effectively to personalized shared knowledge, thus serving its own purpose. To this end, we propose a novel concept called multi-granularity prompt, i.e., coarse-grained global prompt acquired through the common model learning process, and fine-grained local prompt used to personalize the generalized representation. The former focuses on efficiently transferring shared global knowledge without spatial forgetting, and the latter emphasizes specific learning of personalized local knowledge to overcome temporal forgetting. In addition, we design a selective prompt fusion mechanism for aggregating knowledge of global prompts distilled from different clients. By the exclusive fusion of coarse-grained knowledge, we achieve the transmission and refinement of common knowledge among clients, further enhancing the performance of personalization. Extensive experiments demonstrate the effectiveness of the proposed method in addressing STCF as well as improving personalized performance. Our code now is available at https://github.com/SkyOfBeginning/FedMGP.
• Abstract（参考訳）: Personalized Federated Continual Learning (PFCL)は、知識の共有とパーソナライズにおいて大きな課題をもたらす新しい実践シナリオである。 PFCLは,グローバルな空間時間的視点でサーバ集約を行うための知識融合だけでなく,局所的な要求に応じて各クライアントのモデル改善も必要である。 従来の手法では、PFL(Personalized Federated Learning)やFCL(Federated Continual Learning)は、空間的時間的破滅的フォーミング(Spatial-Temporal Catastrophic Forgetting、STCF)を克服し、粗大な人間の認知メカニズムによって一般知識を自身に導入するために用いられる知識の多粒性表現を見落としている。 さらに、パーソナライズされた共有知識をより効果的に提供し、独自の目的を達成する。 そこで本研究では,多粒性プロンプト(multi-granularity prompt)と呼ばれる,共通モデル学習プロセスを通じて得られた粗粒大域的プロンプトと,一般化表現のパーソナライズに使用される局所的プロンプトを提案する。 前者は空間的忘れることなく共有グローバルな知識を効率的に伝達することに焦点を当て、後者は時間的忘れを克服するためにパーソナライズされたローカルな知識の特定の学習を強調する。 さらに,異なるクライアントから抽出したグローバルなプロンプトの知識を集約するための選択的プロンプト融合機構を設計する。 粗粒度知識の排他的融合により、クライアント間の共通知識の伝達と洗練を実現し、パーソナライズの性能をさらに向上する。 広範囲にわたる実験により,STCFの対処における提案手法の有効性と,パーソナライズされた性能の向上が示された。 私たちのコードはhttps://github.com/SkyOfBeginning/FedMGP.comで利用可能です。

関連論文リスト

• Federated Progressive Self-Distillation with Logits Calibration for Personalized IIoT Edge Intelligence [0.1227734309612871]
  本研究では,ロジットキャリブレーションとプログレッシブ自己蒸留に基づく新しいPFL法であるフェデレートプログレッシブ自己蒸留(FedPSD)を提案する。 グローバルな知識を忘れる問題に対処するために,局所的なトレーニング損失に対するロジス校正手法を提案し,進歩的な自己蒸留戦略を設計する。
  論文  参考訳（メタデータ） (2024-11-30T09:32:05Z)
• Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
  汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。 そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。 提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
  論文  参考訳（メタデータ） (2024-07-15T15:20:13Z)
• Cross-Training with Multi-View Knowledge Fusion for Heterogenous Federated Learning [13.796783869133531]
  本稿では,多視点情報を活用したクロストレーニング手法により,フェデレーション学習を促進する新しい手法を提案する。 具体的には、FedCTと呼ばれる提案手法には、3つの主要なモジュールが含まれており、整合性を考慮した知識放送モジュールはモデルの割り当て戦略を最適化することを目的としている。 多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した知識を活用し、モデル交換前後の局所的な知識の保存を強化する。 ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。
  論文  参考訳（メタデータ） (2024-05-30T13:27:30Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• KnFu: Effective Knowledge Fusion [5.305607095162403]
  フェデレートラーニング(FL)は、従来の集中型ラーニングのアプローチに代わる顕著な代替手段として登場した。 本稿では,各クライアントに対してセマンティックな隣人の効果的な知識を融合させるためのみに,局所モデルの知識を評価するEffective Knowledge Fusion(KnFu)アルゴリズムを提案する。 この研究の重要な結論は、大規模でヘテロジニアスなローカルデータセットを持つシナリオでは、知識融合ベースのソリューションよりも局所的なトレーニングが望ましい、ということである。
  論文  参考訳（メタデータ） (2024-03-18T15:49:48Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Selective Knowledge Sharing for Privacy-Preserving Federated Distillation without A Good Teacher [52.2926020848095]
  フェデレーション学習は、ホワイトボックス攻撃に脆弱で、異種クライアントへの適応に苦慮している。 本稿では,選択的FD(Selective-FD)と呼ばれるFDのための選択的知識共有機構を提案する。
  論文  参考訳（メタデータ） (2023-04-04T12:04:19Z)
• Heterogeneous Federated Knowledge Graph Embedding Learning and Unlearning [14.063276595895049]
  Federated Learning(FL)は、生データを共有せずに分散クライアント間でグローバル機械学習モデルをトレーニングするパラダイムである。 ヘテロジニアスなKG埋め込み学習とアンラーニングのための新しいFLフレームワークであるFedLUを提案する。 我々は,FedLUがリンク予測と知識忘れの両方において優れた結果を得ることを示す。
  論文  参考訳（メタデータ） (2023-02-04T02:44:48Z)
• Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
  本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。 フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。 本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
  論文  参考訳（メタデータ） (2022-11-24T13:08:43Z)
• Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces [46.59992662412557]
  本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。 我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。 モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
  論文  参考訳（メタデータ） (2022-08-29T10:05:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。