論文の概要: Federated Class-Incremental Learning with Prompting

• arxiv url: http://arxiv.org/abs/2310.08948v1
• Date: Fri, 13 Oct 2023 08:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-16 13:42:51.356097
• Title: Federated Class-Incremental Learning with Prompting
• Title（参考訳）: プロンプトによるフェデレーションクラスインクリメンタルラーニング
• Authors: Jiale Liu, Yu-Wei Zhan, Chong-Yu Zhang, Xin Luo, Zhen-Duo Chen, Yinwei Wei, and Xin-Shun Xu
• Abstract要約: 本稿では,PrompTingを用いたFederated Class-Incremental Learningという新しい手法を提案する。 我々はタスク関連知識とタスク関連知識をプロンプトにエンコードし、ローカルクライアントの旧来の知識を保存します。 FCIは最先端の手法よりも大幅な精度の向上を実現している。
• 参考スコア（独自算出の注目度）: 18.52169733483851
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Web technology continues to develop, it has become increasingly common to use data stored on different clients. At the same time, federated learning has received widespread attention due to its ability to protect data privacy when let models learn from data which is distributed across various clients. However, most existing works assume that the client's data are fixed. In real-world scenarios, such an assumption is most likely not true as data may be continuously generated and new classes may also appear. To this end, we focus on the practical and challenging federated class-incremental learning (FCIL) problem. For FCIL, the local and global models may suffer from catastrophic forgetting on old classes caused by the arrival of new classes and the data distributions of clients are non-independent and identically distributed (non-iid). In this paper, we propose a novel method called Federated Class-Incremental Learning with PrompTing (FCILPT). Given the privacy and limited memory, FCILPT does not use a rehearsal-based buffer to keep exemplars of old data. We choose to use prompts to ease the catastrophic forgetting of the old classes. Specifically, we encode the task-relevant and task-irrelevant knowledge into prompts, preserving the old and new knowledge of the local clients and solving the problem of catastrophic forgetting. We first sort the task information in the prompt pool in the local clients to align the task information on different clients before global aggregation. It ensures that the same task's knowledge are fully integrated, solving the problem of non-iid caused by the lack of classes among different clients in the same incremental task. Experiments on CIFAR-100, Mini-ImageNet, and Tiny-ImageNet demonstrate that FCILPT achieves significant accuracy improvements over the state-of-the-art methods.
• Abstract（参考訳）: Web技術が発展を続けるにつれて、異なるクライアントに格納されたデータを使うことがますます一般的になっている。 同時に、さまざまなクライアントに分散したデータからモデルを学習させる際に、データプライバシを保護する能力から、フェデレーション学習が広く注目を集めている。 しかし、既存の作品の多くは、クライアントのデータが修正されていると仮定している。 現実のシナリオでは、そのような仮定はデータが連続的に生成され、新しいクラスも現れるため、ほとんど真実ではない。 そこで我々は,fcil(federated class-incremental learning)問題に注目する。 fcilの場合、ローカルモデルとグローバルモデルは、新しいクラスが到着し、クライアントのデータ分散が非独立かつ同一の分散(非iid)によって引き起こされる古いクラスを壊滅的に忘れてしまう可能性がある。 本稿では,FCILPT(Federated Class-Incremental Learning with PrompTing)と呼ばれる新しい手法を提案する。 プライバシとメモリの制限を考えると、fcilptはリハーサルベースのバッファを使用しない。 私たちは、古いクラスの破滅的な忘れるのを楽にするためにプロンプトを使うように選択します。 具体的には、タスク関連知識とタスク関連知識をプロンプトにエンコードし、ローカルクライアントの旧来の知識を保存し、破滅的な忘れを解く。 グローバルアグリゲーションの前に、まずローカルクライアントのプロンプトプール内のタスク情報をソートし、異なるクライアント上のタスク情報を整列させる。 同じタスクの知識が完全に統合され、同じインクリメンタルなタスクで異なるクライアント間でクラスが欠如することによる非iidの問題が解決される。 CIFAR-100、Mini-ImageNet、Tiny-ImageNetの実験では、FCILPTは最先端の手法よりも大幅に精度が向上している。

関連論文リスト

• Masked Autoencoders are Parameter-Efficient Federated Continual Learners [6.184711584674839]
  pMAEは、画像再構成によりクライアント側の再構成プロンプトを学習する。 アップロードされた復元情報を再構築して、以前のタスクと異なるクライアント間でのデータ分散をキャプチャする。
  論文  参考訳（メタデータ） (2024-11-04T09:28:18Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Few-Shot Class Incremental Learning with Attention-Aware Self-Adaptive Prompt [58.880105981772324]
  ASP(Attention-Aware Self-Adaptive Prompt)という新しいフレームワークを提案する。 ASP.NETはタスク不変のプロンプトを奨励し、注意点から特定の情報を減らすことで共有知識をキャプチャする。 要約すると、ASPはベースタスクの過度な適合を防ぎ、数秒のインクリメンタルタスクで膨大なデータを必要としない。
  論文  参考訳（メタデータ） (2024-03-14T20:34:53Z)
• A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks [34.971800168823215]
  本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。 プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-11-13T22:21:27Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Better Generative Replay for Continual Federated Learning [20.57194599280318]
  フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。 本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。 我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-25T06:26:56Z)
• Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
  モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。 古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。 我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-03-31T13:46:41Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。