論文の概要: Federated Class-Incremental Learning with New-Class Augmented
Self-Distillation
- arxiv url: http://arxiv.org/abs/2401.00622v2
- Date: Tue, 9 Jan 2024 07:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 18:57:32.775629
- Title: Federated Class-Incremental Learning with New-Class Augmented
Self-Distillation
- Title（参考訳）: 新しいクラス拡張自己蒸留による連合型授業インクリメンタルラーニング
- Authors: Zhiyuan Wu, Tianliu He, Sheng Sun, Yuwei Wang, Min Liu, Bo Gao,
Xuefeng Jiang
- Abstract要約: We propose a novel Federated Class-Incremental Learning (FCIL) method, named underlineFederated Underline Class-Incremental UnderlineLearning with New-Class UnderlineAugmented Underline-DiunderlineStillation (FedCLASS)。
FedCLASSの中核は、過去のモデルのクラススコアを、現在のモデルによって予測された新しいクラススコアで強化し、組み合わせた知識を自己蒸留に活用することである。
- 参考スコア（独自算出の注目度）: 11.94097689995453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) enables collaborative model training among
participants while guaranteeing the privacy of raw data. Mainstream FL
methodologies overlook the dynamic nature of real-world data, particularly its
tendency to grow in volume and diversify in classes over time. This oversight
results in FL methods suffering from catastrophic forgetting, where the trained
models inadvertently discard previously learned information upon assimilating
new data. In response to this challenge, we propose a novel Federated
Class-Incremental Learning (FCIL) method, named \underline{Fed}erated
\underline{C}lass-Incremental \underline{L}earning with New-Class
\underline{A}ugmented \underline{S}elf-Di\underline{S}tillation (FedCLASS). The
core of FedCLASS is to enrich the class scores of historical models with new
class scores predicted by current models and utilize the combined knowledge for
self-distillation, enabling a more sufficient and precise knowledge transfer
from historical models to current models. Theoretical analyses demonstrate that
FedCLASS stands on reliable foundations, considering scores of old classes
predicted by historical models as conditional probabilities in the absence of
new classes, and the scores of new classes predicted by current models as the
conditional probabilities of class scores derived from historical models.
Empirical experiments demonstrate the superiority of FedCLASS over four
baseline algorithms in reducing average forgetting rate and boosting global
accuracy.
- Abstract（参考訳）: フェデレートラーニング(FL)は、生データのプライバシーを確保しつつ、参加者間の協調モデルトレーニングを可能にする。
主流のfl方法論は、実世界のデータの動的な性質、特にボリュームの増加傾向や時間とともにクラスが多様化する傾向を見下ろしている。
この監視により、FL手法は破滅的な忘れ込みに悩まされ、トレーニングされたモデルは、新しいデータを同化して学習した情報を不注意に捨ててしまう。
そこで本研究では,この課題に応答して,新しいfederated class-incremental learning (fcil) 法を提案し,fedclass (federline{fed}erated \underline{c}lass-incremental \underline{l}earning and new-class \underline{a}ugmented \underline{s}elf-di\underline{s}tillation (fedclass) と命名した。
FedCLASSの中核は、歴史モデルのクラススコアを、現在のモデルによって予測される新しいクラススコアで強化し、自己蒸留に組み合わせた知識を利用することで、歴史モデルから現在のモデルへのより十分な正確な知識伝達を可能にすることである。
理論的分析により、フェドクラスは、歴史モデルによって予測された古いクラスのスコアを、新しいクラスがない場合の条件付き確率として、そして現在のモデルによって予測される新しいクラスのスコアを、歴史モデルから派生したクラススコアの条件付き確率として、信頼できる基礎の上に立つことが示されている。
実験により,FedCLASSが4つのベースラインアルゴリズムよりも優れていることを示す。
関連論文リスト
- Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。
本研究では拡散モデルに基づく新しいデータ再生手法を提案する。
我々の手法は既存のベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2024-09-02T10:07:24Z) - Federated Class-Incremental Learning with Hierarchical Generative Prototypes [10.532838477096055]
Federated Learning (FL)は、複数のデバイス(クライアント)に分散した計算をすることで、ディープモデルのトレーニングを解き放つことを目的としている。
提案手法は,学習可能なプロンプトを用いてトレーニング済みのバックボーンを効率よく微調整することにより,最終層のバイアスを抑える。
提案手法は現状を著しく改善し, 平均精度は+7.8%向上した。
論文 参考訳（メタデータ） (2024-06-04T16:12:27Z) - Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。
実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
論文 参考訳（メタデータ） (2024-02-02T08:05:35Z) - Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。
最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。
本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-01T10:37:41Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。
凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
論文 参考訳（メタデータ） (2023-03-28T13:47:16Z) - Class Impression for Data-free Incremental Learning [20.23329169244367]
ディープラーニングベースの分類アプローチでは、事前にすべてのクラスからすべてのサンプルを収集し、オフラインでトレーニングする必要がある。
このパラダイムは、新しいデータの追加によって新しいクラスが徐々に導入される現実世界の臨床応用では実用的ではないかもしれない。
本稿では,従来のクラスでトレーニングされたモデルからデータを初めて合成し,本クラスを生成する,新しいデータ自由クラスインクリメンタルラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-26T06:20:17Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。