論文の概要: Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory

• arxiv url: http://arxiv.org/abs/2307.00497v1
• Date: Sun, 2 Jul 2023 07:06:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 15:45:37.902577
• Title: Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory
• Title（参考訳）: 記憶してはいけない; 過去ミミック: エピソジック記憶のないフェデレーションクラスインクリメンタルラーニング
• Authors: Sara Babakniya, Zalan Fabian, Chaoyang He, Mahdi Soltanolkotabi, Salman Avestimehr
• Abstract要約: 本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
• 参考スコア（独自算出の注目度）: 36.4406505365313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models are prone to forgetting information learned in the past when trained on new data. This problem becomes even more pronounced in the context of federated learning (FL), where data is decentralized and subject to independent changes for each user. Continual Learning (CL) studies this so-called \textit{catastrophic forgetting} phenomenon primarily in centralized settings, where the learner has direct access to the complete training dataset. However, applying CL techniques to FL is not straightforward due to privacy concerns and resource limitations. This paper presents a framework for federated class incremental learning that utilizes a generative model to synthesize samples from past distributions instead of storing part of past data. Then, clients can leverage the generative model to mitigate catastrophic forgetting locally. The generative model is trained on the server using data-free methods at the end of each task without requesting data from clients. Therefore, it reduces the risk of data leakage as opposed to training it on the client's private data. We demonstrate significant improvements for the CIFAR-100 dataset compared to existing baselines.
• Abstract（参考訳）: ディープラーニングモデルは、新しいデータでトレーニングされた時に過去に学んだ情報を忘れやすい。 この問題は、データが分散化され、ユーザ毎に独立した変更が行われるフェデレーション学習(fl)の文脈でさらに顕著になる。 連続学習(CL)は、いわゆる‘textit{catastrophic forgetting’現象を主に集中的な設定で研究し、学習者は完全なトレーニングデータセットに直接アクセスできる。 しかし、プライバシの懸念とリソース制限のため、CLテクニックをFLに適用することは簡単ではない。 本稿では,生成モデルを用いて過去のデータの一部を保存するのではなく,過去の分布からサンプルを合成するフェデレーションクラスインクリメンタル学習の枠組みを提案する。 そして、クライアントは生成モデルを利用して、局所的な破滅的な忘れを緩和できる。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。 そのため、クライアントのプライベートデータでトレーニングするのではなく、データ漏洩のリスクを低減する。 既存のベースラインと比較して,CIFAR-100データセットの大幅な改善を示す。

関連論文リスト

• Few-Shot Class-Incremental Learning with Non-IID Decentralized Data [12.472285188772544]
  スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠だ。 本稿では、分散機械学習パラダイムであるフェデレートされた数発のクラスインクリメンタルラーニングを紹介する。 本稿では,リプレイバッファデータを利用して既存の知識を維持し,新たな知識の獲得を促進する合成データ駆動フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T02:48:36Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  大規模言語モデル(LLM)の事前トレーニングは伝統的に、Webスケールデータセットからランダムにサンプリングされたデータブロックの自己回帰言語モデリングに依存している。 我々は、空間的反復のような人間の学習技術からインスピレーションを得て、LLMのランダムなデータサンプリングが、データを忘れがちな高いトレーニングコストと低品質モデルをもたらすという仮説を立てる。 ウェブスケール情報を長期記憶に効果的にコミットするために,LFR(Learn, Focus, and Review)ペタゴギーを提案する。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks [34.971800168823215]
  本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。 プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-11-13T22:21:27Z)
• TARGET: Federated Class-Continual Learning via Exemplar-Free Distillation [9.556059871106351]
  本稿では,未探索だが重要な課題であるフェデレーション・クラス・コンチネンタル・ラーニング(FCCL)に焦点を当てる。 既存のFCCLの作業には、データセットの追加や、以前のタスクからのプライベートデータの保存など、さまざまな制限がある。 本稿では,クライアントデータのプライバシを保ちながら,FCCLにおける破滅的な忘れを緩和する,TARGETと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-03-13T09:11:54Z)
• Better Generative Replay for Continual Federated Learning [20.57194599280318]
  フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。 本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。 我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-25T06:26:56Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
  フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。 現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。 この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
  論文  参考訳（メタデータ） (2022-07-17T13:55:20Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Information-Theoretic Bounds on the Generalization Error and Privacy Leakage in Federated Learning [96.38757904624208]
  モバイルネットワーク上の機械学習アルゴリズムは、3つのカテゴリに分類される。 この研究の主な目的は、前述のすべての学習パラダイムに対する情報理論のフレームワークを提供することである。
  論文  参考訳（メタデータ） (2020-05-05T21:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。