論文の概要: PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2401.02094v2
• Date: Mon, 15 Jul 2024 10:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 02:24:41.157389
• Title: PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning
• Title（参考訳）: PILoRA:Federated Class-Incremental LearningのためのプロトタイプインクリメンタルLoRA
• Authors: Haiyang Guo, Fei Zhu, Wenzhuo Liu, Xu-Yao Zhang, Cheng-Lin Liu,
• Abstract要約: 標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
• 参考スコア（独自算出の注目度）: 41.984652077669104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing federated learning methods have effectively dealt with decentralized learning in scenarios involving data privacy and non-IID data. However, in real-world situations, each client dynamically learns new classes, requiring the global model to classify all seen classes. To effectively mitigate catastrophic forgetting and data heterogeneity under low communication costs, we propose a simple and effective method named PILoRA. On the one hand, we adopt prototype learning to learn better feature representations and leverage the heuristic information between prototypes and class features to design a prototype re-weight module to solve the classifier bias caused by data heterogeneity without retraining the classifier. On the other hand, we view incremental learning as the process of learning distinct task vectors and encoding them within different LoRA parameters. Accordingly, we propose Incremental LoRA to mitigate catastrophic forgetting. Experimental results on standard datasets indicate that our method outperforms the state-of-the-art approaches significantly. More importantly, our method exhibits strong robustness and superiority in different settings and degrees of data heterogeneity. The code is available at \url{https://github.com/Ghy0501/PILoRA}.
• Abstract（参考訳）: 既存のフェデレーション学習手法は、データプライバシや非IIDデータを含むシナリオにおいて、分散学習を効果的に扱う。 しかし、現実の状況では、各クライアントは新しいクラスを動的に学習し、グローバルモデルがすべてのクラスを分類する必要がある。 低通信コスト下での破滅的忘れとデータ不均一性を効果的に緩和するために,PILoRAという簡易かつ効果的な手法を提案する。 一方、我々はプロトタイプ学習を採用し、より優れた特徴表現を学習し、プロトタイプとクラスの特徴間のヒューリスティック情報を活用して、データの不均一性に起因する分類器バイアスを解決するために、プロトタイプの再重み付けモジュールを設計する。 一方,逐次学習は個別のタスクベクトルを学習し,それらを異なるLoRAパラメータにエンコードするプロセスであると考えている。 そこで我々は,破滅的な忘れを緩和するインクリメンタルロラを提案する。 標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 さらに重要なことは、この手法は、異なる設定とデータの等質度において、強い堅牢性と優越性を示すことである。 コードは \url{https://github.com/Ghy0501/PILoRA} で公開されている。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
  本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。 クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。 提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
  論文  参考訳（メタデータ） (2022-01-04T06:55:19Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)
• Sequential Targeting: an incremental learning approach for data imbalance in text classification [7.455546102930911]
  不均衡なデータセットを扱う方法は、分散スキューを軽減するために不可欠である。 本稿では,提案手法の有効性によらず,新たなトレーニング手法であるシーケンスターゲティング(ST)を提案する。 シミュレーションベンチマークデータセット(IMDB)とNAVERから収集したデータを用いて,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2020-11-20T04:54:00Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。