論文の概要: HePCo: Data-Free Heterogeneous Prompt Consolidation for Continual
Federated Learning
- arxiv url: http://arxiv.org/abs/2306.09970v1
- Date: Fri, 16 Jun 2023 17:02:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 12:52:43.739678
- Title: HePCo: Data-Free Heterogeneous Prompt Consolidation for Continual
Federated Learning
- Title(参考訳): HePCo: 継続的なフェデレーション学習のためのデータフリーな不均一なプロンプト統合
- Authors: Shaunak Halbe, James Seale Smith, Junjiao Tian, Zsolt Kira
- Abstract要約: 我々はCFL(Continuous Federated Learning)の重要な課題に焦点をあてる。
CFLはサーバが一連のクライアントと通信して、データを共有したり保存したりすることなく、新たな概念を漸進的に学習する場所です。
本稿では,サーバにおけるクライアントモデルを統合するための,新規で軽量な生成・蒸留方式を提案する。
- 参考スコア(独自算出の注目度): 21.639199127980508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we focus on the important yet understudied problem of
Continual Federated Learning (CFL), where a server communicates with a set of
clients to incrementally learn new concepts over time without sharing or
storing any data. The complexity of this problem is compounded by challenges
from both the Continual and Federated Learning perspectives. Specifically,
models trained in a CFL setup suffer from catastrophic forgetting which is
exacerbated by data heterogeneity across clients. Existing attempts at this
problem tend to impose large overheads on clients and communication channels or
require access to stored data which renders them unsuitable for real-world use
due to privacy. In this paper, we attempt to tackle forgetting and
heterogeneity while minimizing overhead costs and without requiring access to
any stored data. We achieve this by leveraging a prompting based approach (such
that only prompts and classifier heads have to be communicated) and proposing a
novel and lightweight generation and distillation scheme to consolidate client
models at the server. We formulate this problem for image classification and
establish strong baselines for comparison, conduct experiments on CIFAR-100 as
well as challenging, large-scale datasets like ImageNet-R and DomainNet. Our
approach outperforms both existing methods and our own baselines by as much as
7% while significantly reducing communication and client-level computation
costs.
- Abstract(参考訳): 本稿では,サーバがクライアントの集合と通信し,データを共有したり保存したりすることなく,新たな概念を段階的に学習する,CFL(Continuousal Federated Learning)の重要な課題に焦点を当てる。
この問題の複雑さは、継続学習とフェデレート学習の両方の観点からの課題によって複雑化されます。
特に、cflでトレーニングされたモデルは、クライアント間のデータの不均質性によって悪化する破滅的な忘れに苦しむ。
この問題に対する既存の試みは、クライアントや通信チャネルに大きなオーバーヘッドを課す傾向にあり、あるいは保存されたデータにアクセスする必要がある。
本稿では,記憶データへのアクセスを必要とせず,オーバーヘッドコストを最小限に抑えながら,忘れと不均一性に取り組む。
我々は、プロンプトベースのアプローチ(プロンプトとクラシファイアヘッドのみを通信しなければならない)を活用し、サーバにおけるクライアントモデルを統合するための、新しくて軽量な生成と蒸留方式を提案する。
我々は、画像分類の問題を定式化し、比較のための強力なベースラインを確立し、CIFAR-100上で実験を行い、ImageNet-RやDomainNetのような大規模データセットに挑戦する。
提案手法は,通信コストとクライアントレベルの計算コストを大幅に削減しつつ,既存手法と独自のベースラインを最大7%向上させる。
関連論文リスト
- A Data-Free Approach to Mitigate Catastrophic Forgetting in Federated
Class Incremental Learning for Vision Tasks [34.971800168823215]
本稿では、過去の分布からサンプルを合成するために生成モデルを利用する、$textbffederated class incremental learning$のフレームワークを提案する。
プライバシを保護するため、生成モデルはクライアントからデータを要求することなく、各タスクの最後にデータフリーなメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳(メタデータ) (2023-11-13T22:21:27Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-04-11T14:51:55Z) - Better Generative Replay for Continual Federated Learning [20.57194599280318]
フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。
本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。
我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
論文 参考訳(メタデータ) (2023-02-25T06:26:56Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Outsourcing Training without Uploading Data via Efficient Collaborative
Open-Source Sampling [49.87637449243698]
従来のアウトソーシングでは、デバイスデータをクラウドサーバにアップロードする必要がある。
我々は、公開および異種ソースから収集された膨大なデータセットである、広く利用可能なオープンソースデータを活用することを提案する。
我々は,オープンソースデータからクラウドトレーニングのためのプロキシデータセットを構築するための,ECOS(Efficient Collaborative Open-source Sampling)と呼ばれる新しい戦略を開発した。
論文 参考訳(メタデータ) (2022-10-23T00:12:18Z) - FedNet2Net: Saving Communication and Computations in Federated Learning
with Model Growing [0.0]
フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。
本稿では「モデル成長」の概念に基づく新しいスキームを提案する。
提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
論文 参考訳(メタデータ) (2022-07-19T21:54:53Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳(メタデータ) (2021-04-27T18:23:54Z) - Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。
ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。
サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文 参考訳(メタデータ) (2021-03-29T20:47:45Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳(メタデータ) (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。