Fugu-MT 論文翻訳(概要): Knowledge Distillation for Federated Learning: a Practical Guide

論文の概要: Knowledge Distillation for Federated Learning: a Practical Guide

arxiv url: http://arxiv.org/abs/2211.04742v1
Date: Wed, 9 Nov 2022 08:31:23 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 17:24:01.707623
Title: Knowledge Distillation for Federated Learning: a Practical Guide
Title（参考訳）: 連合学習のための知識蒸留:実践的指導
Authors: Alessio Mora, Irene Tenison, Paolo Bellavista, Irina Rish
Abstract要約: フェデレートラーニング(FL)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。 FLの最もよく使われるアルゴリズムはパラメータに基づくスキーム(フェデレート平均化など)である。我々は、特定のFL問題に適したKDベースのアルゴリズムのレビューを行う。
参考スコア（独自算出の注目度）: 8.2791533759453
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) enables the training of Deep Learning models without centrally collecting possibly sensitive raw data. This paves the way for stronger privacy guarantees when building predictive models. The most used algorithms for FL are parameter-averaging based schemes (e.g., Federated Averaging) that, however, have well known limits: (i) Clients must implement the same model architecture; (ii) Transmitting model weights and model updates implies high communication cost, which scales up with the number of model parameters; (iii) In presence of non-IID data distributions, parameter-averaging aggregation schemes perform poorly due to client model drifts. Federated adaptations of regular Knowledge Distillation (KD) can solve and/or mitigate the weaknesses of parameter-averaging FL algorithms while possibly introducing other trade-offs. In this article, we provide a review of KD-based algorithms tailored for specific FL issues.
Abstract（参考訳）: federated learning (fl)は、センシティブな生データを集中的に収集することなく、ディープラーニングモデルのトレーニングを可能にする。これにより、予測モデルを構築する際のプライバシー保証が強化される。 flの最もよく使われるアルゴリズムはパラメータ平均化に基づくスキーム(例えば、フェデレーション平均化)であるが、よく知られた制限がある。 (i)クライアントは同じモデルアーキテクチャを実装しなければならない。二モデル重み及びモデル更新の伝達は、モデルパラメータの数に応じてスケールアップする高い通信コストを暗示する。 3) 非IIDデータ分布の存在下では,クライアントモデルドリフトによるパラメータ蓄積アグリゲーション方式は不十分である。正規知識蒸留(regular knowledge distillation, kd)の連合適応は、パラメータ平均flアルゴリズムの弱点を解き、あるいは緩和し、他のトレードオフを導入することができる。本稿では,特定のFL問題に適したKDベースのアルゴリズムについて概説する。

関連論文リスト

SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文参考訳（メタデータ） (2024-08-19T17:32:15Z)
Promoting Data and Model Privacy in Federated Learning through Quantized LoRA [41.81020951061438]
トレーニング中にモデルのパラメータの量子化されたバージョンを配布するだけでよい方法を紹介します。我々は、この量子化戦略を、人気かつパラメータ効率の良い微調整法であるLoRAと組み合わせて、フェデレート学習における通信コストを大幅に削減する。提案したフレームワークはtextscFedLPP と呼ばれ、フェデレートされた学習コンテキストにおけるデータとモデルのプライバシの両立を実現している。
論文参考訳（メタデータ） (2024-06-16T15:23:07Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
Bridging Data Barriers among Participants: Assessing the Potential of Geoenergy through Federated Learning [2.8498944632323755]
本研究では,XGBoostモデルに基づく新しい連邦学習(FL)フレームワークを提案する。 FLモデルは、異なるモデルと比較して精度と一般化能力が優れていることを示す。本研究は, 協調型・プライバシー保護型FL技術により, 従来と異なる貯水池を評価するための新たな道を開くものである。
論文参考訳（メタデータ） (2024-04-29T09:12:31Z)
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文参考訳（メタデータ） (2024-03-22T15:02:24Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文参考訳（メタデータ） (2023-05-29T22:51:40Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
論文参考訳（メタデータ） (2023-01-11T17:58:51Z)
Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文参考訳（メタデータ） (2022-02-14T18:33:12Z)
Efficient Federated Learning for AIoT Applications Using Knowledge Distillation [2.5892786553124085]
フェデレートラーニング(FL)は、ユーザのプライバシを損なうことなく、中央モデルを分散データでトレーニングする。従来のFLは、ハードラベルのデータを使用してローカルモデルをトレーニングするため、モデル不正確さに悩まされている。本稿では, AIoTアプリケーションに対して, 効率的かつ正確なFLを実現するための, 蒸留に基づく新しいフェデレートラーニングアーキテクチャを提案する。
論文参考訳（メタデータ） (2021-11-29T06:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。