論文の概要: A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks

• arxiv url: http://arxiv.org/abs/2311.07784v2
• Date: Tue, 21 Nov 2023 08:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 04:03:13.028564
• Title: A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated Class Incremental Learning for Vision Tasks
• Title（参考訳）: 視覚課題に対するフェデレーションクラスインクリメンタルラーニングにおけるカタストロフィック・フォーミングの緩和のためのデータフリーアプローチ
• Authors: Sara Babakniya, Zalan Fabian, Chaoyang He, Mahdi Soltanolkotabi, Salman Avestimehr
• Abstract要約: 本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。 プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
• 参考スコア（独自算出の注目度）: 34.971800168823215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models often suffer from forgetting previously learned information when trained on new data. This problem is exacerbated in federated learning (FL), where the data is distributed and can change independently for each user. Many solutions are proposed to resolve this catastrophic forgetting in a centralized setting. However, they do not apply directly to FL because of its unique complexities, such as privacy concerns and resource limitations. To overcome these challenges, this paper presents a framework for $\textbf{federated class incremental learning}$ that utilizes a generative model to synthesize samples from past distributions. This data can be later exploited alongside the training data to mitigate catastrophic forgetting. To preserve privacy, the generative model is trained on the server using data-free methods at the end of each task without requesting data from clients. Moreover, our solution does not demand the users to store old data or models, which gives them the freedom to join/leave the training at any time. Additionally, we introduce SuperImageNet, a new regrouping of the ImageNet dataset specifically tailored for federated continual learning. We demonstrate significant improvements compared to existing baselines through extensive experiments on multiple datasets.
• Abstract（参考訳）: 深層学習モデルは、新しいデータでトレーニングされたときに、事前学習された情報を忘れることに苦しむことが多い。 この問題は、データが分散され、ユーザ毎に独立して変更できるフェデレーション学習(fl)において悪化する。 この破滅的な忘れを中央集権的に解決するために、多くの解決策が提案されている。 しかし、プライバシの懸念やリソースの制限など、FLに固有の複雑さがあるため、直接適用しない。 これらの課題を克服するために、過去の分布からサンプルを合成するために生成モデルを利用する$\textbf{federated class incremental learning}$のフレームワークを提案する。 このデータは後にトレーニングデータとともに利用でき、破滅的な忘れを軽減できる。 プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。 さらに、当社のソリューションでは、ユーザに古いデータやモデルを保存する必要はなく、いつでもトレーニングに参加/分離する自由が得られます。 さらに、フェデレートされた連続学習に適したImageNetデータセットの新たな再グループ化であるSuperImageNetを紹介する。 複数のデータセットに対する広範な実験により,既存のベースラインと比較して,大幅な改善が示された。

関連論文リスト

• Few-Shot Class-Incremental Learning with Non-IID Decentralized Data [12.472285188772544]
  スケーラブルで適応的なインテリジェントなシステムを開発するには、クラスインクリメンタルな学習が不可欠だ。 本稿では、分散機械学習パラダイムであるフェデレートされた数発のクラスインクリメンタルラーニングを紹介する。 本稿では,リプレイバッファデータを利用して既存の知識を維持し,新たな知識の獲得を促進する合成データ駆動フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T02:48:36Z)
• MultiConfederated Learning: Inclusive Non-IID Data handling with Decentralized Federated Learning [1.2726316791083532]
  Federated Learning (FL) は、機密性のある臨床機械学習のようなユースケースを可能にするための、顕著なプライバシ保護技術として登場した。 FLはデータを所有するリモートデバイスによってトレーニングされたモデルを集約することで動作する。 非IIDデータを扱うために設計された分散FLフレームワークであるMultiConfederated Learningを提案する。
  論文  参考訳（メタデータ） (2024-04-20T16:38:26Z)
• TOFU: A Task of Fictitious Unlearning for LLMs [99.92305790945507]
  Webからの大量のコーパスに基づいてトレーニングされた大規模な言語モデルは、法的および倫理的懸念を提起する機密データやプライベートデータを再現することができる。 トレーニングデータに存在する情報を忘れるためにモデルをチューニングするアンラーニングは、トレーニング後のプライベートデータを保護する手段を提供する。 未学習の理解を深めるためのベンチマークであるTOFUを紹介する。
  論文  参考訳（メタデータ） (2024-01-11T18:57:12Z)
• Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
  本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。 生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
  論文  参考訳（メタデータ） (2023-07-02T07:06:45Z)
• Better Generative Replay for Continual Federated Learning [20.57194599280318]
  フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。 本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。 我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-25T06:26:56Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• FedOS: using open-set learning to stabilize training in federated learning [0.0]
  フェデレートラーニング(Federated Learning)は、プライバシ制約に違反することなく、分散データセット上で統計モデルをトレーニングする、新たなアプローチである。 本報告では,この新たな研究領域を探索し,これらの課題の理解を深めるため,いくつかの実験を行う。 本稿では,これらの課題の1つに新しいアプローチを提案し,文献で見られる他の手法と比較する。
  論文  参考訳（メタデータ） (2022-08-22T19:53:39Z)
• FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated Distillation [54.2658887073461]
  非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。 本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。 FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
  論文  参考訳（メタデータ） (2022-04-30T06:17:36Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• DeGAN : Data-Enriching GAN for Retrieving Representative Samples from a Trained Classifier [58.979104709647295]
  我々は、トレーニングされたネットワークの将来の学習タスクのために、利用可能なデータの豊富さと関連するデータの欠如の間のギャップを埋める。 利用可能なデータは、元のトレーニングデータセットまたは関連するドメインデータセットの不均衡なサブセットである可能性があるため、代表サンプルを検索するために使用します。 関連ドメインからのデータを活用して最先端のパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2019-12-27T02:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。