Fugu-MT 論文翻訳(概要): TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation

論文の概要: TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation

arxiv url: http://arxiv.org/abs/2303.06937v2
Date: Mon, 14 Aug 2023 03:46:51 GMT
ステータス: 処理完了
システム内更新日: 2023-08-15 22:06:14.847442
Title: TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation
Title（参考訳）: TARGET: 常用蒸留による一級連続学習
Authors: Jie Zhang, Chen Chen, Weiming Zhuang, Lingjuan Lv
Abstract要約: 本稿では,未探索だが重要な課題であるフェデレーション・クラス・コンチネンタル・ラーニング(FCCL)に焦点を当てる。既存のFCCLの作業には、データセットの追加や、以前のタスクからのプライベートデータの保存など、さまざまな制限がある。本稿では,クライアントデータのプライバシを保ちながら,FCCLにおける破滅的な忘れを緩和する,TARGETと呼ばれる新しい手法を提案する。
参考スコア（独自算出の注目度）: 9.556059871106351
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper focuses on an under-explored yet important problem: Federated Class-Continual Learning (FCCL), where new classes are dynamically added in federated learning. Existing FCCL works suffer from various limitations, such as requiring additional datasets or storing the private data from previous tasks. In response, we first demonstrate that non-IID data exacerbates catastrophic forgetting issue in FL. Then we propose a novel method called TARGET (federat\textbf{T}ed cl\textbf{A}ss-continual lea\textbf{R}nin\textbf{G} via \textbf{E}xemplar-free dis\textbf{T}illation), which alleviates catastrophic forgetting in FCCL while preserving client data privacy. Our proposed method leverages the previously trained global model to transfer knowledge of old tasks to the current task at the model level. Moreover, a generator is trained to produce synthetic data to simulate the global distribution of data on each client at the data level. Compared to previous FCCL methods, TARGET does not require any additional datasets or storing real data from previous tasks, which makes it ideal for data-sensitive scenarios.
Abstract（参考訳）: 本稿では,新しいクラスを動的に追加するフェデレーション型クラス連続学習(fccl)について述べる。既存のFCCLの作業には、データセットの追加や、以前のタスクからのプライベートデータの保存など、さまざまな制限がある。その結果,非IIDデータによりFLにおける破滅的忘れの問題が悪化することが確認された。次に,クライアントデータプライバシを保護しながらFCCLにおける破滅的な忘れを緩和するTARGET(federat\textbf{T}ed cl\textbf{A}ss-continual lea\textbf{R}nin\textbf{G} via \textbf{E}xemplar-free dis\textbf{T}illation)を提案する。提案手法では,前述したグローバルモデルを利用して,過去のタスクの知識をモデルレベルで現在のタスクに転送する。さらに、データレベルで各クライアント上のデータのグローバルな分布をシミュレートする合成データを生成するように、ジェネレータを訓練する。従来のFCCLメソッドと比較して、TARGETは追加のデータセットや以前のタスクからの実際のデータを格納する必要がなく、データに敏感なシナリオに最適である。

関連論文リスト

Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。本研究では拡散モデルに基づく新しいデータ再生手法を提案する。我々の手法は既存のベースラインを大きく上回っている。
論文参考訳（メタデータ） (2024-09-02T10:07:24Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks [34.971800168823215]
本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
論文参考訳（メタデータ） (2023-11-13T22:21:27Z)
Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文参考訳（メタデータ） (2023-07-02T07:06:45Z)
Dealing with Cross-Task Class Discrimination in Online Continual Learning [54.31411109376545]
本稿では,クラスインクリメンタルラーニング(CIL)における新たな課題について論じる。新しいタスクのクラスと古いタスクの間の決定境界を、古いタスクデータへの(あるいは制限された)アクセスなしで設定する方法。リプレイ方式では、前のタスクから少量のデータ(再生データ)を節約する。現在のタスクデータのバッチが到着すると、システムは、新しいデータとサンプルデータとを共同でトレーニングする。本稿では,リプレイ手法には動的トレーニングバイアスの問題があり,CTCD問題の解法におけるリプレイデータの有効性を低下させる。
論文参考訳（メタデータ） (2023-05-24T02:52:30Z)
Going beyond research datasets: Novel intent discovery in the industry setting [60.90117614762879]
本稿では,大規模なeコマースプラットフォームに展開する意図発見パイプラインを改善する手法を提案する。ドメイン内データに基づく事前学習型言語モデルの利点を示す。また,クラスタリングタスクの微調整中に,実生活データセットの会話構造(質問と回答)を利用するための最善の方法も考案した。
論文参考訳（メタデータ） (2023-05-09T14:21:29Z)
Preventing Zero-Shot Transfer Degradation in Continual Learning of Vision-Language Models [13.340759455910721]
本稿では,視覚言語モデルの連続学習におけるゼロショット転送劣化を防止する新しい手法を提案する。本手法は,従来のクラス増分学習環境において,他の手法よりも優れている。
論文参考訳（メタデータ） (2023-03-12T10:28:07Z)
Task Residual for Tuning Vision-Language Models [69.22958802711017]
タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
論文参考訳（メタデータ） (2022-11-18T15:09:03Z)
Learning Across Domains and Devices: Style-Driven Source-Free Domain Adaptation in Clustered Federated Learning [32.098954477227046]
本稿では,クライアントのデータをラベル付けせず,サーバが事前学習のためにラベル付きデータセットにアクセスする新しいタスクを提案する。実験の結果,我々のアルゴリズムは既存の手法よりも効率よく新しい課題に取り組むことができることがわかった。
論文参考訳（メタデータ） (2022-10-05T15:23:52Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。