論文の概要: Masked Autoencoders are Parameter-Efficient Federated Continual Learners
- arxiv url: http://arxiv.org/abs/2411.01916v1
- Date: Mon, 04 Nov 2024 09:28:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-05 14:39:37.455909
- Title: Masked Autoencoders are Parameter-Efficient Federated Continual Learners
- Title（参考訳）: マスク付きオートエンコーダはパラメータ効率のよい連続学習者である
- Authors: Yuchen He, Xiangfeng Wang,
- Abstract要約: pMAEは、MAEを用いた画像再構成により、クライアント側の再構成プロンプトを学習する。
アップロードされた復元情報を再構築して、以前のタスクと異なるクライアント間でのデータ分散をキャプチャする。
- 参考スコア（独自算出の注目度）: 6.184711584674839
- License:
- Abstract: Federated learning is a specific distributed learning paradigm in which a central server aggregates updates from multiple clients' local models, thereby enabling the server to learn without requiring clients to upload their private data, maintaining data privacy. While existing federated learning methods are primarily designed for static data, real-world applications often require clients to learn new categories over time. This challenge necessitates the integration of continual learning techniques, resulting in federated continual learning (FCL). Although advanced prompt-based continual learning methods leverage pre-trained transformers to mitigate catastrophic forgetting, they do not adequately address the non-IID challenges in federated learning. To address both catastrophic forgetting and non-IID issues, we propose to use masked autoencoders (MAEs) as parameter-efficient federated continual learners, called pMAE. pMAE learns reconstructive prompt on the client side through image reconstruction using MAEs. On the server side, it reconstructs the uploaded restore information to capture the data distribution across previous tasks and different clients, using these reconstructed images to finetune discriminative prompt and classifier parameters designed for classification, thereby alleviating catastrophic forgetting and non-IID challenges on a global scale. Experimental results demonstrate that pMAE achieves performance comparable to existing prompt-based methods and can enhance their effectiveness, particularly when using self-supervised pre-trained transformers as the backbone. Code is available at: https://github.com/ycheoo/pMAE.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、中央サーバが複数のクライアントのローカルモデルから更新を集約する分散学習パラダイムである。
既存のフェデレートされた学習方法は、主に静的データのために設計されているが、現実世界のアプリケーションは、時間とともに新しいカテゴリを学ぶためにクライアントを必要とすることが多い。
この課題は、継続学習技術の統合が必要であり、結果として連合連続学習(FCL)が生まれる。
先進的なプロンプトベースの連続学習手法は、事前学習されたトランスフォーマーを利用して破滅的な忘れを緩和するが、フェデレートラーニングにおける非IID課題に適切に対処するものではない。
破滅的な忘れ方と非IID問題の両方に対処するため,パラメータ効率のよい連続学習者としてマスク付きオートエンコーダ(MAEs)を用いたpMAEを提案する。
pMAEは、MAEを用いた画像再構成により、クライアント側の再構成プロンプトを学習する。
サーバ側では、アップロードされた復元情報を再構成して、以前のタスクと異なるクライアント間でのデータ分散をキャプチャし、これらの再構成された画像を使用して、分類用に設計された識別的プロンプトと分類器パラメータを微調整し、世界的な規模での破滅的な忘れ込みと非IID課題を軽減する。
実験の結果,pMAEは既存のプロンプトベース手法に匹敵する性能を示し,特に自己教師付き事前学習トランスフォーマーをバックボーンとして使用する場合,その効果を高めることができることがわかった。
コードは、https://github.com/ycheoo/pMAE.comで入手できる。
関連論文リスト
- Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - Federated Face Forgery Detection Learning with Personalized Representation [63.90408023506508]
ディープジェネレータ技術は、区別がつかない高品質のフェイクビデオを制作し、深刻な社会的脅威をもたらす可能性がある。
従来の偽造検出手法は、データを直接集中的に訓練する。
本稿では,個人化表現を用いた新しいフェデレーション顔偽造検出学習を提案する。
論文 参考訳（メタデータ） (2024-06-17T02:20:30Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - Federated Class-Incremental Learning with Prompting [18.52169733483851]
本稿では,PrompTingを用いたFederated Class-Incremental Learningという新しい手法を提案する。
我々はタスク関連知識とタスク関連知識をプロンプトにエンコードし、ローカルクライアントの旧来の知識を保存します。
FCIは最先端の手法よりも大幅な精度の向上を実現している。
論文 参考訳（メタデータ） (2023-10-13T08:35:02Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Meta Knowledge Condensation for Federated Learning [65.20774786251683]
既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。
これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。
既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
論文 参考訳（メタデータ） (2022-09-29T15:07:37Z) - Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。
当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。
以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
論文 参考訳（メタデータ） (2022-07-12T13:24:23Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳（メタデータ） (2021-03-29T20:47:45Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。