Fugu-MT 論文翻訳(概要): FedZKT: Zero-Shot Knowledge Transfer towards Heterogeneous On-Device Models in Federated Learning

論文の概要: FedZKT: Zero-Shot Knowledge Transfer towards Heterogeneous On-Device Models in Federated Learning

arxiv url: http://arxiv.org/abs/2109.03775v1
Date: Wed, 8 Sep 2021 16:53:07 GMT
ステータス: 処理完了
システム内更新日: 2021-09-09 16:16:43.726597
Title: FedZKT: Zero-Shot Knowledge Transfer towards Heterogeneous On-Device Models in Federated Learning
Title（参考訳）: fedzkt: フェデレーション学習におけるヘテロジニアスオンデバイスモデルへのゼロショット知識伝達
Authors: Lan Zhang, Xiaoyong Yuan
Abstract要約: フェデレーション学習は、デバイス上でのトレーニングデータを集中化せずに、分散デバイスが共有予測モデルを学ぶことを可能にする。本稿では,ゼロショット・ナレッジ・トランスファー(Zero-shot Knowledge Transfer)による異種オンデバイスモデル間のフェデレーション学習を支援する新しいフレームワークを提案する。
参考スコア（独自算出の注目度）: 6.9573683028565885
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated learning enables distributed devices to collaboratively learn a shared prediction model without centralizing on-device training data. Most of the current algorithms require comparable individual efforts to train on-device models with the same structure and size, impeding participation from resource-constrained devices. Given the widespread yet heterogeneous devices nowadays, this paper proposes a new framework supporting federated learning across heterogeneous on-device models via Zero-shot Knowledge Transfer, named by FedZKT. Specifically, FedZKT allows participating devices to independently determine their on-device models. To transfer knowledge across on-device models, FedZKT develops a zero-shot distillation approach contrary to certain prior research based on a public dataset or a pre-trained data generator. To utmostly reduce on-device workload, the resource-intensive distillation task is assigned to the server, which constructs a generator to adversarially train with the ensemble of the received heterogeneous on-device models. The distilled central knowledge will then be sent back in the form of the corresponding on-device model parameters, which can be easily absorbed at the device side. Experimental studies demonstrate the effectiveness and the robustness of FedZKT towards heterogeneous on-device models and challenging federated learning scenarios, such as non-iid data distribution and straggler effects.
Abstract（参考訳）: フェデレーション学習は、デバイス上でのトレーニングデータを集中させることなく、分散デバイスが共同で共有予測モデルを学習することを可能にする。現行のアルゴリズムのほとんどは、同じ構造とサイズを持つデバイス上でモデルをトレーニングするための、同等の個別の努力を必要とする。近年,多種多様なデバイスが普及していることから,FedZKTによって命名されたZero-shot Knowledge Transferを通じて,異種オンデバイスモデル間のフェデレーション学習を支援する新しいフレームワークを提案する。具体的には、FedZKTは参加するデバイスがデバイス上のモデルを独立して決定できるようにする。デバイス上のモデル間で知識を伝達するために、FedZKTは、パブリックデータセットや事前訓練されたデータジェネレータに基づく以前の研究とは対照的にゼロショット蒸留アプローチを開発する。オンデバイスワークロードを最大限に削減するために、リソース集約蒸留タスクをサーバに割り当て、受信した異種オンデバイスモデルのアンサンブルと対角的にトレーニングするジェネレータを構築する。蒸留された中心知識は対応するオンデバイスモデルパラメータの形で送り返され、デバイス側で容易に吸収される。実験研究は、不均一なオンデバイスモデルに対するfeedzktの有効性と頑健性を示し、非iidデータ分布やストラグラー効果のような連合学習シナリオに挑戦する。

関連論文リスト

subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment [0.2796197251957244]
フェデレートラーニング(FL)は、分散デバイスと異種デバイスを持つシステムで一般的に用いられる。計算能力の異なる異種デバイスをFLプロセスに参加可能なモデル圧縮手法を提案する。
論文参考訳（メタデータ） (2024-05-30T12:49:34Z)
DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文参考訳（メタデータ） (2023-09-24T04:29:22Z)
Unsupervised anomalies detection in IIoT edge devices networks using federated learning [0.0]
分散機械学習アプローチとしてのフェデレーション学習(FL)は、データそのものを収集したデバイス上で、マシンラーニングモデルのトレーニングを実行する。本稿では、最近のIoT/IIoTデバイスネットワークを表すデータセットにFLの利点を活用し、Fedavgアルゴリズムを実装した。また,障害デバイスがトレーニングのすべての段階で参加していない場合,トレーニング中に発生する不公平さなど,Fedavgの欠点も評価した。
論文参考訳（メタデータ） (2023-08-23T14:53:38Z)
Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文参考訳（メタデータ） (2023-07-12T16:28:21Z)
Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文参考訳（メタデータ） (2022-07-04T23:53:47Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
Federated Learning with Downlink Device Selection [92.14944020945846]
我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
論文参考訳（メタデータ） (2021-07-07T22:42:39Z)
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文参考訳（メタデータ） (2021-06-10T21:04:18Z)
Federated Learning-based Active Authentication on Mobile Devices [98.23904302910022]
モバイルデバイス上のユーザアクティブ認証は、デバイスセンサ情報に基づいて登録ユーザを正しく認識できるモデルを学ぶことを目的としている。 Federated Active Authentication (FAA) と呼ばれる新しいユーザーアクティブ認証トレーニングを提案します。既存のFL/SL法は,同質に分散するデータに依存するため,FAAにとって最適ではないことを示す。
論文参考訳（メタデータ） (2021-04-14T22:59:08Z)
Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-26T14:37:51Z)
Evaluation Framework For Large-scale Federated Learning [10.127616622630514]
フェデレーテッド・ラーニングは、携帯電話などの分散型エッジデバイスが協調して共有予測モデルを学習できるようにするための機械学習環境として提案されている。本稿では,データセットとモジュール型評価フレームワークを生成するためのアプローチからなる,大規模フェデレーション学習のためのフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-03T15:12:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。