論文の概要: FedKNOW: Federated Continual Learning with Signature Task Knowledge
Integration at Edge
- arxiv url: http://arxiv.org/abs/2212.01738v1
- Date: Sun, 4 Dec 2022 04:03:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 19:03:33.500733
- Title: FedKNOW: Federated Continual Learning with Signature Task Knowledge
Integration at Edge
- Title（参考訳）: FedKNOW: エッジでの署名型タスク知識統合による継続的な学習
- Authors: Yaxin Luopan, Rui Han, Qinglong Zhang, Chi Harold Liu, Guoren Wang
- Abstract要約: 本稿では,FedKNOWを提案する。
FedKNOWは、署名タスクの知識を継続的に抽出し統合するクライアントサイドソリューションである。
我々は,FedKNOWがモデルトレーニング時間を増やすことなく,63.24%の精度向上を実現し,通信コストを34.28%削減し,困難なシナリオ下でのさらなる改善を実現していることを示す。
- 参考スコア（独自算出の注目度）: 35.80543542333692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been ubiquitously adopted in internet of
things and are becoming an integral of our daily life. When tackling the
evolving learning tasks in real world, such as classifying different types of
objects, DNNs face the challenge to continually retrain themselves according to
the tasks on different edge devices. Federated continual learning is a
promising technique that offers partial solutions but yet to overcome the
following difficulties: the significant accuracy loss due to the limited
on-device processing, the negative knowledge transfer caused by the limited
communication of non-IID data, and the limited scalability on the tasks and
edge devices. In this paper, we propose FedKNOW, an accurate and scalable
federated continual learning framework, via a novel concept of signature task
knowledge. FedKNOW is a client side solution that continuously extracts and
integrates the knowledge of signature tasks which are highly influenced by the
current task. Each client of FedKNOW is composed of a knowledge extractor, a
gradient restorer and, most importantly, a gradient integrator. Upon training
for a new task, the gradient integrator ensures the prevention of catastrophic
forgetting and mitigation of negative knowledge transfer by effectively
combining signature tasks identified from the past local tasks and other
clients' current tasks through the global model. We implement FedKNOW in
PyTorch and extensively evaluate it against state-of-the-art techniques using
popular federated continual learning benchmarks. Extensive evaluation results
on heterogeneous edge devices show that FedKNOW improves model accuracy by
63.24% without increasing model training time, reduces communication cost by
34.28%, and achieves more improvements under difficult scenarios such as large
numbers of tasks or clients, and training different complex networks.
- Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、物のインターネットに広く採用されており、私たちの日常生活に不可欠なものになりつつある。
さまざまな種類のオブジェクトを分類するなど、現実世界で進化する学習タスクに取り組む場合、DNNは、異なるエッジデバイス上のタスクに応じて、継続的に自分自身をトレーニングするという課題に直面します。
フェデレーション型連続学習(Federated continual learning)は、部分解を提供するが、デバイス上での処理の制限による大幅な精度低下、非IIDデータの通信の制限による負の知識伝達、タスクやエッジデバイスでのスケーラビリティの制限といった課題を克服しない有望な手法である。
本稿では,シグネチャタスク知識という新しい概念を通して,精度が高くスケーラブルな連続学習フレームワークであるfeedknowを提案する。
FedKNOWはクライアントサイドソリューションで、現在のタスクに強く影響された署名タスクの知識を継続的に抽出し、統合します。
FedKNOWの各クライアントは、知識抽出器、勾配復元器、そして最も重要なのは勾配積分器で構成されている。
グラデーションインテグレータは、新しいタスクのトレーニング時に、過去のローカルタスクと他のクライアントの現在のタスクからグローバルモデルを通して識別された署名タスクを効果的に組み合わせることで、負の知識伝達の破滅的な忘れと軽減を確実にする。
我々はPyTorchでFedKNOWを実装し、一般的なフェデレート連続学習ベンチマークを用いて最先端技術に対して広範囲に評価する。
ヘテロジニアスエッジデバイスの大規模な評価結果から、FedKNOWはモデルトレーニング時間を増やすことなくモデル精度を63.24%改善し、通信コストを34.28%削減し、多数のタスクやクライアント、異なる複雑なネットワークのトレーニングといった困難なシナリオ下でのさらなる改善を実現している。
関連論文リスト
- Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。
これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。
事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。
既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。
我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-07T12:19:37Z) - Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。
FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。
FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
論文 参考訳（メタデータ） (2023-12-21T12:36:53Z) - Addressing Client Drift in Federated Continual Learning with Adaptive
Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。
適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文 参考訳（メタデータ） (2022-03-24T20:00:03Z) - FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task
Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。
本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文 参考訳（メタデータ） (2022-03-24T17:43:12Z) - Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
この性質のオンライン問題にメタラーニングを適用する方法について検討する。
タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。
実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
論文 参考訳（メタデータ） (2022-02-01T07:51:24Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳（メタデータ） (2021-10-21T17:46:44Z) - Multi-task Over-the-Air Federated Learning: A Non-Orthogonal
Transmission Approach [52.85647632037537]
複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。
収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
論文 参考訳（メタデータ） (2021-06-27T13:09:32Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳（メタデータ） (2020-06-30T06:42:19Z) - Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。
FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。
我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文 参考訳（メタデータ） (2020-03-06T13:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。