論文の概要: Federated Class-Incremental Learning with Prototype Guided Transformer

• arxiv url: http://arxiv.org/abs/2401.02094v1
• Date: Thu, 4 Jan 2024 06:46:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-05 15:41:49.278404
• Title: Federated Class-Incremental Learning with Prototype Guided Transformer
• Title（参考訳）: プロトタイプ誘導変換器を用いたフェデレーションクラスインクリメンタルラーニング
• Authors: Haiyang Guo, Fei Zhu, Wenzhuo Liu, Xu-Yao Zhang, Cheng-Lin Liu
• Abstract要約: 現実の状況では、各クライアントは新しいクラスを動的に学習し、グローバルモデルが新しいクラスと古いクラスの区別能力を維持する必要がある。 低通信コスト下での破滅的忘れとデータ不均一性の効果を効果的に軽減するために,我々はPLoRAという簡易かつ効果的な手法を考案した。 本手法は, 様々なシナリオやデータの不均一性の程度において, 強靭性と優越性を示す。
• 参考スコア（独自算出の注目度）: 45.043064116390866
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing federated learning methods have effectively addressed decentralized learning in scenarios involving data privacy and non-IID data. However, in real-world situations, each client dynamically learns new classes, requiring the global model to maintain discriminative capabilities for both new and old classes. To effectively mitigate the effects of catastrophic forgetting and data heterogeneity under low communication costs, we designed a simple and effective method named PLoRA. On the one hand, we adopt prototype learning to learn better feature representations and leverage the heuristic information between prototypes and class features to design a prototype re-weight module to solve the classifier bias caused by data heterogeneity without retraining the classification layer. On the other hand, our approach utilizes a pre-trained model as the backbone and utilizes LoRA to fine-tune with a tiny amount of parameters when learning new classes. Moreover, PLoRA does not rely on similarity-based module selection strategies, thereby further reducing communication overhead. Experimental results on standard datasets indicate that our method outperforms the state-of-the-art approaches significantly. More importantly, our method exhibits strong robustness and superiority in various scenarios and degrees of data heterogeneity. Our code will be publicly available.
• Abstract（参考訳）: 既存のフェデレーション学習手法は、データプライバシと非IIDデータを含むシナリオにおいて、分散学習に効果的に対処してきた。 しかし、現実の状況では、各クライアントは新しいクラスを動的に学習し、グローバルモデルが新しいクラスと古いクラスの識別能力を維持する必要がある。 低通信コスト下での破滅的忘れとデータ不均一性の効果を効果的に軽減するために,PLoRAという簡易かつ効果的な手法を考案した。 一方で,より優れた特徴表現を学習し,プロトタイプとクラス特徴間のヒューリスティック情報を活用するためにプロトタイプ学習を採用し,データ不均質性に起因する分類子バイアスを分類層の再訓練なしに解決するプロトタイプ再重みモジュールを設計した。 一方,本手法では,事前学習したモデルをバックボーンとして活用し,loraを用いて新しいクラスを学習する際のパラメータを微調整する。 さらに、PLoRAは類似性に基づくモジュール選択戦略に頼らず、通信オーバーヘッドをさらに削減する。 標準データセットにおける実験結果は,本手法が最先端のアプローチを著しく上回っていることを示している。 さらに,本手法は様々なシナリオやデータの均一性に強い強靭性と優越性を示す。 私たちのコードは公開されます。

関連論文リスト

• Distributionally robust self-supervised learning for tabular data [2.942619386779508]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Adaptive Prototypical Networks with Label Words and Joint Representation Learning for Few-Shot Relation Classification [17.237331828747006]
  本研究は,少ショット関係分類(FSRC)に焦点を当てる。 クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。 FewRelでは、異なる数ショット(FS)設定で実験が行われた。
  論文  参考訳（メタデータ） (2021-01-10T11:25:42Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。