論文の概要: FedET: A Communication-Efficient Federated Class-Incremental Learning
Framework Based on Enhanced Transformer
- arxiv url: http://arxiv.org/abs/2306.15347v1
- Date: Tue, 27 Jun 2023 10:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-28 13:49:07.724331
- Title: FedET: A Communication-Efficient Federated Class-Incremental Learning
Framework Based on Enhanced Transformer
- Title（参考訳）: fedet:強化トランスフォーマーに基づく通信効率の高いフェデレーションクラスインクリメンタル学習フレームワーク
- Authors: Chenghao Liu and Xiaoyang Qu and Jianzong Wang and Jing Xiao
- Abstract要約: 本稿では,FedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。
FedETは、小さなモジュールであるEnhancerを使って、新しい知識を吸収し、伝達する。
代表的なベンチマークデータセットにおけるFedETの平均精度は、最先端の手法よりも14.1%高い。
- 参考スコア（独自算出の注目度）: 42.19443600254834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) has been widely concerned for it enables
decentralized learning while ensuring data privacy. However, most existing
methods unrealistically assume that the classes encountered by local clients
are fixed over time. After learning new classes, this assumption will make the
model's catastrophic forgetting of old classes significantly severe. Moreover,
due to the limitation of communication cost, it is challenging to use
large-scale models in FL, which will affect the prediction accuracy. To address
these challenges, we propose a novel framework, Federated Enhanced Transformer
(FedET), which simultaneously achieves high accuracy and low communication
cost. Specifically, FedET uses Enhancer, a tiny module, to absorb and
communicate new knowledge, and applies pre-trained Transformers combined with
different Enhancers to ensure high precision on various tasks. To address local
forgetting caused by new classes of new tasks and global forgetting brought by
non-i.i.d (non-independent and identically distributed) class imbalance across
different local clients, we proposed an Enhancer distillation method to modify
the imbalance between old and new knowledge and repair the non-i.i.d. problem.
Experimental results demonstrate that FedET's average accuracy on
representative benchmark datasets is 14.1% higher than the state-of-the-art
method, while FedET saves 90% of the communication cost compared to the
previous method.
- Abstract（参考訳）: フェデレーション学習(fl)は、データのプライバシを確保しながら分散学習を可能にすることに広く関心を寄せている。
しかし、既存のほとんどのメソッドは非現実的に、ローカルクライアントが遭遇するクラスは時間とともに固定されると仮定している。
新しいクラスを学習した後、この仮定はモデルが古いクラスを壊滅的に忘れることになる。
さらに,通信コストの制限により,予測精度に影響を与える大規模モデルをFLで使用することは困難である。
これらの課題に対処するため,我々はFedET(Federated Enhanced Transformer)という新しいフレームワークを提案する。
具体的には、FedETは小さなモジュールであるEnhancerを使用して、新しい知識を吸収し、伝達し、さまざまなEnhancerと事前訓練されたトランスフォーマーを組み合わせて、さまざまなタスクに高い精度で適用する。
新たなタスクのクラスや非i.d(非独立で同一の分散)クラスの不均衡によるグローバルな忘れを各ローカルクライアントに分散させるため,従来の知識と新しい知識の不均衡を修正し,非i.d.問題を修復するエンハンサー蒸留法を提案した。
実験の結果、FedETのベンチマークデータセットの平均精度は最先端の手法よりも14.1%高く、FedETは以前の手法に比べて通信コストの90%を節約していることがわかった。
関連論文リスト
- TPFL: Tsetlin-Personalized Federated Learning with Confidence-Based Clustering [0.0]
本稿では,Tsetlin-Personalized Federated Learningと呼ばれる新しい手法を提案する。
このように、モデルは特定のクラスに対する信頼性に基づいてクラスタにグループ化される。
クライアントは信頼しているものだけを共有し、結果として誤った重み付けが排除される。
その結果、TPFLはMNISTで98.94%、FashionMNISTで98.52%、FEMNISTデータセットで91.16%の精度でベースライン法よりも優れた性能を示した。
論文 参考訳（メタデータ） (2024-09-16T15:27:35Z) - Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation
Encoding [21.76802204235636]
本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。
REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。
同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
論文 参考訳（メタデータ） (2023-10-13T10:48:28Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - SPATL: Salient Parameter Aggregation and Transfer Learning for
Heterogeneous Clients in Federated Learning [3.5394650810262336]
効率的なフェデレーション学習は、エッジデバイス上でAIモデルをトレーニングしデプロイする上で重要な課題の1つだ。
フェデレーション学習におけるデータのプライバシの維持は、データの均一性、高価な通信コスト、限られたリソースなど、いくつかの課題を引き起こす。
本稿では,ローカルクライアントの深層強化学習に基づく有能なパラメータ選択エージェントを提案し,選択した有能なパラメータを中央サーバに集約する。
論文 参考訳（メタデータ） (2021-11-29T06:28:05Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - CatFedAvg: Optimising Communication-efficiency and Classification
Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。
コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。
実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文 参考訳（メタデータ） (2020-11-14T06:52:02Z) - Adaptive Federated Dropout: Improving Communication Efficiency and
Generalization for Federated Learning [6.982736900950362]
フェデレートラーニング(Federated Learning)として知られる、革命的な分散機械学習設定により、異なる地理的場所に位置する複数のクライアントが、機械学習モデルの共同学習が可能になる。
クライアントとサーバ間のコミュニケーションは、連合学習の収束時間における主要なボトルネックと考えられている。
本稿では,適応型フェデレート・ドロップアウト(AFD)を提案する。
論文 参考訳（メタデータ） (2020-11-08T18:41:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。