論文の概要: Continual Adaptation of Vision Transformers for Federated Learning

• arxiv url: http://arxiv.org/abs/2306.09970v2
• Date: Sun, 22 Sep 2024 01:43:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 14:51:04.184574
• Title: Continual Adaptation of Vision Transformers for Federated Learning
• Title（参考訳）: フェデレーション学習のための視覚変換器の連続的適応
• Authors: Shaunak Halbe, James Seale Smith, Junjiao Tian, Zsolt Kira,
• Abstract要約: 我々は,サーバが一連のクライアントと通信し,新たな概念を漸進的に学習する,連続的フェデレートラーニング(CFL)の重要な課題に注目した。 この問題に対する既存の試みは、クライアントや通信チャネルに大きなオーバーヘッドを課す傾向がある。 本稿では,サーバにおけるクライアントモデルを統合するための,新規で軽量な生成・蒸留方式を提案する。
• 参考スコア（独自算出の注目度）: 26.64725725128934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we focus on the important yet understudied problem of Continual Federated Learning (CFL), where a server communicates with a set of clients to incrementally learn new concepts over time without sharing or storing any data. The complexity of this problem is compounded by challenges from both the Continual and Federated Learning perspectives. Specifically, models trained in a CFL setup suffer from catastrophic forgetting which is exacerbated by data heterogeneity across clients. Existing attempts at this problem tend to impose large overheads on clients and communication channels or require access to stored data which renders them unsuitable for real-world use due to privacy. In this paper, we attempt to tackle forgetting and heterogeneity while minimizing overhead costs and without requiring access to any stored data. We study this problem in the context of Vision Transformers and explore parameter-efficient approaches to adapt to dynamic distributions while minimizing forgetting. We achieve this by leveraging a prompting based approach (such that only prompts and classifier heads have to be communicated) and proposing a novel and lightweight generation and distillation scheme to consolidate client models at the server. We formulate this problem for image classification and establish strong baselines for comparison, conduct experiments on CIFAR-100 as well as challenging, large-scale datasets like ImageNet-R and DomainNet. Our approach outperforms both existing methods and our own baselines by as much as 7% while significantly reducing communication and client-level computation costs. Code available at https://github.com/shaunak27/hepco-fed.
• Abstract（参考訳）: 本稿では,サーバがクライアントの集合と通信し,データを共有したり保存したりすることなく,新たな概念を段階的に学習する,CFL(Continuousal Federated Learning)の重要な課題に焦点を当てる。 この問題の複雑さは、継続学習とフェデレート学習の両方の観点からの課題によって複雑化されます。 具体的には、CFLセットアップでトレーニングされたモデルは、クライアント間のデータの異質性によって悪化する破滅的な忘れ込みに悩まされる。 この問題に対する既存の試みは、クライアントや通信チャネルに大きなオーバーヘッドを課す傾向にあり、あるいは保存されたデータにアクセスする必要があるため、プライバシによる実際の使用には適さない。 本稿では,記憶データへのアクセスを必要とせず,オーバーヘッドコストを最小限に抑えながら,忘れと不均一性に取り組む。 本研究では,視覚変換器の文脈でこの問題を考察し,動的分布に適応するパラメータ効率のアプローチを,最小限に抑えながら検討する。 我々は、プロンプトベースのアプローチ(プロンプトとクラシファイアヘッドのみを通信しなければならない)を活用し、サーバにおけるクライアントモデルを統合するための、新しくて軽量な生成と蒸留方式を提案する。 我々は、画像分類の問題を定式化し、比較のための強力なベースラインを確立し、CIFAR-100上で実験を行い、ImageNet-RやDomainNetのような大規模データセットに挑戦する。 提案手法は,通信コストとクライアントレベルの計算コストを大幅に削減しつつ,既存手法と独自のベースラインを最大7%向上させる。 コードはhttps://github.com/shaunak27/hepco-fed.comで公開されている。

関連論文リスト

• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
  本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
  論文  参考訳（メタデータ） (2023-07-10T21:08:52Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning Client Deployment Scheme [37.099990745974196]
  フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。 私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。 遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
  論文  参考訳（メタデータ） (2022-11-05T13:41:19Z)
• FedNet2Net: Saving Communication and Computations in Federated Learning with Model Growing [0.0]
  フェデレート・ラーニング(Federated Learning, FL)は、最近開発された機械学習の分野である。 本稿では「モデル成長」の概念に基づく新しいスキームを提案する。 提案手法は3つの標準ベンチマークで広範囲に検証され、通信とクライアントの計算の大幅な削減を実現することが示されている。
  論文  参考訳（メタデータ） (2022-07-19T21:54:53Z)
• Federated Continual Learning through distillation in pervasive computing [0.2519906683279153]
  フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。 現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。 この提案はHAR(Human Activity Recognition)領域で評価されており、破滅的な忘れ込み効果を効果的に減少させることが示されている。
  論文  参考訳（メタデータ） (2022-07-17T13:55:20Z)
• Federated Learning and catastrophic forgetting in pervasive computing: demonstration in HAR domain [0.2519906683279153]
  フェデレートラーニングは、ローカルデバイスの使用を促進する新しい機械学習パラダイムとして導入された。 現在のソリューションは、サーバが送信したモデルを微調整するために、クライアント側で大量のデータを保存することに依存しています。 本研究の目的は,スマートフォン上での人体行動認識の状況において,この問題を実証することである。
  論文  参考訳（メタデータ） (2022-07-17T13:53:28Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。