論文の概要: Masked Autoencoders are Parameter-Efficient Federated Continual Learners

• arxiv url: http://arxiv.org/abs/2411.01916v2
• Date: Mon, 18 Nov 2024 08:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:03.948121
• Title: Masked Autoencoders are Parameter-Efficient Federated Continual Learners
• Title（参考訳）: マスク付きオートエンコーダはパラメータ効率のよい連続学習者である
• Authors: Yuchen He, Xiangfeng Wang,
• Abstract要約: pMAEは、画像再構成によりクライアント側の再構成プロンプトを学習する。 アップロードされた復元情報を再構築して、以前のタスクと異なるクライアント間でのデータ分散をキャプチャする。
• 参考スコア（独自算出の注目度）: 6.184711584674839
• License:
• Abstract: Federated learning is a specific distributed learning paradigm in which a central server aggregates updates from multiple clients' local models, thereby enabling the server to learn without requiring clients to upload their private data, maintaining data privacy. While existing federated learning methods are primarily designed for static data, real-world applications often require clients to learn new categories over time. This challenge necessitates the integration of continual learning techniques, leading to federated continual learning (FCL). To address both catastrophic forgetting and non-IID issues, we propose to use masked autoencoders (MAEs) as parameter-efficient federated continual learners, called pMAE. pMAE learns reconstructive prompt on the client side through image reconstruction using MAE. On the server side, it reconstructs the uploaded restore information to capture the data distribution across previous tasks and different clients, using these reconstructed images to finetune discriminative prompt and classifier parameters tailored for classification, thereby alleviating catastrophic forgetting and non-IID issues on a global scale. Experimental results demonstrate that pMAE achieves performance comparable to existing prompt-based methods and can enhance their effectiveness, particularly when using self-supervised pre-trained transformers as the backbone. Code is available at: https://github.com/ycheoo/pMAE.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、中央サーバが複数のクライアントのローカルモデルから更新を集約する分散学習パラダイムである。 既存のフェデレートされた学習方法は、主に静的データ用に設計されているが、現実世界のアプリケーションは、時間とともに新しいカテゴリを学ぶためにクライアントを必要とすることが多い。 この課題は継続学習技術の統合を必要とし、連立連続学習(FCL)につながる。 破滅的な忘れ方と非IID問題の両方に対処するため,パラメータ効率のよい連続学習者としてマスク付きオートエンコーダ(MAEs)を用いたpMAEを提案する。 pMAEは、画像再構成によりクライアント側の再構成プロンプトを学習する。 サーバ側では、アップロードされた復元情報を再構成して、以前のタスクや異なるクライアント間でのデータ分散をキャプチャし、これらの再構成された画像を使用して、分類に適した識別的プロンプトと分類器パラメータを微調整し、破滅的な忘れと非IID問題をグローバルスケールで緩和する。 実験の結果,pMAEは既存のプロンプトベース手法に匹敵する性能を示し,特に自己教師付き事前学習トランスフォーマーをバックボーンとして使用する場合,その効果を高めることができることがわかった。 コードは、https://github.com/ycheoo/pMAE.comで入手できる。

関連論文リスト

• FPPL: An Efficient and Non-IID Robust Federated Continual Learning Framework [6.446904116575293]
  フェデレーション型連続学習(FCL)は、分散化されたフェデレーション型学習環境において、シーケンシャルなデータストリームから学習することを目的としている。 既存のFCLメソッドは通常、典型的なリハーサル機構を使用しており、これはプライバシー侵害や追加の面倒なストレージや計算負荷をもたらす可能性がある。 本研究では,FPPL(Federated Prototype-Augmented Prompt Learning)と呼ばれる,効率的で非IIDな連立型連続学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-04T09:15:21Z)
• Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
  フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。 既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。 本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T07:04:48Z)
• Federated Class-Incremental Learning with Prompting [18.52169733483851]
  本稿では,PrompTingを用いたFederated Class-Incremental Learningという新しい手法を提案する。 我々はタスク関連知識とタスク関連知識をプロンプトにエンコードし、ローカルクライアントの旧来の知識を保存します。 FCIは最先端の手法よりも大幅な精度の向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T08:35:02Z)
• Better Generative Replay for Continual Federated Learning [20.57194599280318]
  フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。 本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。 我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-25T06:26:56Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
  訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。 当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。 以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
  論文  参考訳（メタデータ） (2022-07-12T13:24:23Z)
• Federated Learning with Taskonomy for Non-IID Data [0.0]
  タスクノミーによる連合学習を導入する。 ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。 サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
  論文  参考訳（メタデータ） (2021-03-29T20:47:45Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。