論文の概要: FedICT: Federated Multi-task Distillation for Multi-access Edge
Computing
- arxiv url: http://arxiv.org/abs/2301.00389v1
- Date: Sun, 1 Jan 2023 11:50:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-03 15:39:27.363262
- Title: FedICT: Federated Multi-task Distillation for Multi-access Edge
Computing
- Title（参考訳）: FedICT: マルチアクセスエッジコンピューティングのためのフェデレーションマルチタスク蒸留
- Authors: Zhiyuan Wu, Sheng Sun, Yuwei Wang, Min Liu, Xuefeng Jiang, Bo Gao
- Abstract要約: マルチアクセスエッジ計算(FedICT)のためのMultI-task蒸留法を提案する。
FedICTによるクライアントとサーバ間の双方向蒸留プロセスにおけるローカル・グローバルな知識の活用
FedICTは、さまざまなデータ異種およびモデルアーキテクチャ設定で比較されたベンチマークを著しく上回っている。
- 参考スコア（独自算出の注目度）: 13.943517216609996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing interest in intelligent services and privacy protection for
mobile devices has given rise to the widespread application of federated
learning in Multi-access Edge Computing (MEC). Diverse user behaviors call for
personalized services with heterogeneous Machine Learning (ML) models on
different devices. Federated Multi-task Learning (FMTL) is proposed to train
related but personalized ML models for different devices, whereas previous
works suffer from excessive communication overhead during training and neglect
the model heterogeneity among devices in MEC. Introducing knowledge
distillation into FMTL can simultaneously enable efficient communication and
model heterogeneity among clients, whereas existing methods rely on a public
dataset, which is impractical in reality. To tackle this dilemma, Federated
MultI-task Distillation for Multi-access Edge CompuTing (FedICT) is proposed.
FedICT direct local-global knowledge aloof during bi-directional distillation
processes between clients and the server, aiming to enable multi-task clients
while alleviating client drift derived from divergent optimization directions
of client-side local models. Specifically, FedICT includes Federated Prior
Knowledge Distillation (FPKD) and Local Knowledge Adjustment (LKA). FPKD is
proposed to reinforce the clients' fitting of local data by introducing prior
knowledge of local data distributions. Moreover, LKA is proposed to correct the
distillation loss of the server, making the transferred local knowledge better
match the generalized representation. Experiments on three datasets show that
FedICT significantly outperforms all compared benchmarks in various data
heterogeneous and model architecture settings, achieving improved accuracy with
less than 1.2% training communication overhead compared with FedAvg and no more
than 75% training communication round compared with FedGKT.
- Abstract（参考訳）: モバイルデバイスのインテリジェントサービスとプライバシ保護に対する関心が高まり、マルチアクセスエッジコンピューティング(MEC)におけるフェデレーション学習の広範な適用がもたらされた。
多様なユーザー行動は、異なるデバイス上で異種機械学習(ml)モデルを持つパーソナライズされたサービスを呼び出す。
FMTL(Federated Multi-task Learning)は、異なるデバイスに対して、関連するがパーソナライズされたMLモデルをトレーニングするために提案されている。
fmtlに知識蒸留を導入することで、クライアント間の効率的なコミュニケーションとモデルの不均一性を同時に実現することができる。
このジレンマに対処するため,FedICT (Federated MultI-task Distillation for Multi- Access Edge CompuTing) を提案する。
クライアントとサーバ間の双方向蒸留プロセスにおいて,FedICTは,クライアント側ローカルモデルの分岐最適化方向からクライアントのドリフトを緩和しつつ,マルチタスククライアントの実現を目指す。
具体的には、Federated Prior Knowledge Distillation (FPKD)とLocal Knowledge Adjustment (LKA)が含まれる。
FPKDは、ローカルデータ配信の事前知識を導入して、クライアントのローカルデータの適合性を強化するために提案されている。
さらに、LKAはサーバの蒸留損失を補正するために提案され、転送されたローカル知識は一般化された表現とよりよく一致する。
3つのデータセットの実験により、FedICTはさまざまなデータおよびモデルアーキテクチャ設定のベンチマークを著しく上回り、FedAvgと比較して1.2%以下のトレーニング通信オーバーヘッドで精度を向上し、FedGKTと比較して75%以下のトレーニング通信ラウンドを実現している。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal
Heterogeneous Federated Learning [37.96957782129352]
我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。
Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。
その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
論文 参考訳（メタデータ） (2023-08-21T21:57:01Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - ON-DEMAND-FL: A Dynamic and Efficient Multi-Criteria Federated Learning
Client Deployment Scheme [37.099990745974196]
フェデレート学習のためのクライアントデプロイメントアプローチであるOn-Demand-FLを導入する。
私たちはDockerのようなコンテナ技術を使って効率的な環境を構築しています。
遺伝的アルゴリズム(GA)は多目的最適化問題を解決するために用いられる。
論文 参考訳（メタデータ） (2022-11-05T13:41:19Z) - Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。
マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。
VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
論文 参考訳（メタデータ） (2022-07-20T23:14:33Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳（メタデータ） (2022-03-22T14:06:26Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳（メタデータ） (2021-08-17T17:53:05Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。
現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。
MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文 参考訳（メタデータ） (2020-12-24T01:43:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。