論文の概要: Efficient Federated Learning for AIoT Applications Using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2111.14347v1
• Date: Mon, 29 Nov 2021 06:40:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 18:14:59.136319
• Title: Efficient Federated Learning for AIoT Applications Using Knowledge Distillation
• Title（参考訳）: 知識蒸留を用いたAIoTアプリケーションのための効果的なフェデレーション学習
• Authors: Tian Liua, Jun Xiaa, Xian Weia, Ting Wanga, Xin Fub, Mingsong Chen
• Abstract要約: フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。 従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。 本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 2.5892786553124085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As a promising distributed machine learning paradigm, Federated Learning (FL) trains a central model with decentralized data without compromising user privacy, which has made it widely used by Artificial Intelligence Internet of Things (AIoT) applications. However, the traditional FL suffers from model inaccuracy since it trains local models using hard labels of data and ignores useful information of incorrect predictions with small probabilities. Although various solutions try to tackle the bottleneck of the traditional FL, most of them introduce significant communication and memory overhead, making the deployment of large-scale AIoT devices a great challenge. To address the above problem, this paper presents a novel Distillation-based Federated Learning (DFL) architecture that enables efficient and accurate FL for AIoT applications. Inspired by Knowledge Distillation (KD) that can increase the model accuracy, our approach adds the soft targets used by KD to the FL model training, which occupies negligible network resources. The soft targets are generated by local sample predictions of each AIoT device after each round of local training and used for the next round of model training. During the local training of DFL, both soft targets and hard labels are used as approximation objectives of model predictions to improve model accuracy by supplementing the knowledge of soft targets. To further improve the performance of our DFL model, we design a dynamic adjustment strategy for tuning the ratio of two loss functions used in KD, which can maximize the use of both soft targets and hard labels. Comprehensive experimental results on well-known benchmarks show that our approach can significantly improve the model accuracy of FL with both Independent and Identically Distributed (IID) and non-IID data.
• Abstract（参考訳）: 有望な分散機械学習パラダイムとして、federated learning(fl)は、ユーザのプライバシを損なうことなく、分散データを備えた中央モデルをトレーニングする。 しかし、従来のFLは、データのハードラベルを用いてローカルモデルを訓練し、小さな確率で誤った予測の有用な情報を無視するため、モデル不正確さに悩まされている。 様々なソリューションが従来のflのボトルネックに取り組もうとしているが、そのほとんどは重要な通信とメモリオーバーヘッドをもたらし、大規模なaiotデバイスのデプロイが大きな課題となっている。 本稿では,aiotアプリケーションの効率良く正確なflを実現するために,dfl(dstillation-based federated learning)アーキテクチャを提案する。 モデル精度を向上できる知識蒸留(KD)にインスパイアされた我々の手法は、無視可能なネットワークリソースを占有するFLモデルトレーニングにKDが使用するソフトターゲットを追加する。 ソフトターゲットは、各ローカルトレーニングの各ラウンド後に各AIoTデバイスのローカルサンプル予測によって生成され、次のラウンドのモデルトレーニングに使用される。 dflのローカルトレーニングでは、ソフトターゲットとハードラベルの両方をモデル予測の近似目標として使用し、ソフトターゲットの知識を補足することでモデルの精度を向上させる。 DFLモデルの性能をさらに向上するため、KDで使用される2つの損失関数の比率を調整し、ソフトターゲットとハードラベルの両方の使用を最大化するための動的調整戦略を設計する。 よく知られているベンチマークにおける総合的な実験結果から,本手法は独立分散データと非iidデータの両方を用いて,flのモデルの精度を大幅に向上できることがわかった。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Towards Robust Federated Learning via Logits Calibration on Non-IID Data [49.286558007937856]
  Federated Learning(FL)は、エッジネットワークにおける分散デバイスの共同モデルトレーニングに基づく、プライバシ保護のための分散管理フレームワークである。 近年の研究では、FLは敵の例に弱いことが示されており、その性能は著しく低下している。 本研究では,対戦型訓練(AT)フレームワークを用いて,対戦型実例(AE)攻撃に対するFLモデルの堅牢性を向上させる。
  論文  参考訳（メタデータ） (2024-03-05T09:18:29Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Knowledge Distillation for Federated Learning: a Practical Guide [8.2791533759453]
  フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。 FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。 我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
  論文  参考訳（メタデータ） (2022-11-09T08:31:23Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• On the Importance and Applicability of Pre-Training for Federated Learning [28.238484580662785]
  我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
  論文  参考訳（メタデータ） (2022-06-23T06:02:33Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
  Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。 本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
  論文  参考訳（メタデータ） (2022-02-23T10:08:43Z)
• DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning [3.516494777812123]
  本稿では,DearFSAC (Defect-AwaRe Federated soft actor-critic) を提案する。 DearFSACは、独立および同一分散(IID)と非IID設定の2つのデータセットに対して、既存の3つのアプローチより優れている。
  論文  参考訳（メタデータ） (2022-01-30T01:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。