Fugu-MT 論文翻訳(概要): Adaptive Distillation for Decentralized Learning from Heterogeneous Clients

論文の概要: Adaptive Distillation for Decentralized Learning from Heterogeneous Clients

arxiv url: http://arxiv.org/abs/2008.07948v1
Date: Tue, 18 Aug 2020 14:25:22 GMT
ステータス: 処理完了
システム内更新日: 2022-10-27 20:55:51.437528
Title: Adaptive Distillation for Decentralized Learning from Heterogeneous Clients
Title（参考訳）: 異種顧客からの分散学習のための適応蒸留
Authors: Jiaxin Ma and Ryo Yonetani and Zahid Iqbal
Abstract要約: 適応蒸留(DLAD)を用いた分散学習という新しい分散学習手法を提案する。提案するDLADは, 所定の蒸留試料に高い信頼性を有するクライアントモデルを適応的に強調しながら, クライアントモデルの出力を集約する。提案手法の有効性を実証するため,複数の公開データセットに対する広範囲な実験的評価を行った。
参考スコア（独自算出の注目度）: 9.261720698142097
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper addresses the problem of decentralized learning to achieve a high-performance global model by asking a group of clients to share local models pre-trained with their own data resources. We are particularly interested in a specific case where both the client model architectures and data distributions are diverse, which makes it nontrivial to adopt conventional approaches such as Federated Learning and network co-distillation. To this end, we propose a new decentralized learning method called Decentralized Learning via Adaptive Distillation (DLAD). Given a collection of client models and a large number of unlabeled distillation samples, the proposed DLAD 1) aggregates the outputs of the client models while adaptively emphasizing those with higher confidence in given distillation samples and 2) trains the global model to imitate the aggregated outputs. Our extensive experimental evaluation on multiple public datasets (MNIST, CIFAR-10, and CINIC-10) demonstrates the effectiveness of the proposed method.
Abstract（参考訳）: 本稿では、クライアントグループに対して、データリソースで事前学習したローカルモデルを共有することで、高性能なグローバルモデルを実現するための分散学習の問題に対処する。特に、クライアントモデルアーキテクチャとデータ分散の両方が多様であるため、フェデレートラーニングやネットワーク共蒸留といった従来のアプローチを採用するのは簡単ではありません。そこで本研究では,Adaptive Distillation (DLAD) を用いた分散学習法を提案する。クライアントモデルのコレクションと多数のラベルなし蒸留サンプルが与えられたとき、提案されたdlad 1) クライアントモデルの出力を集約し, 所定の蒸留試料に対する信頼性の高い出力を適応的に強調する。 2) 集約された出力を模倣するためにグローバルモデルを訓練する。提案手法の有効性を示す複数の公開データセット(mnist, cifar-10, cinic-10)の広範な実験評価を行った。

関連論文リスト

Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
論文参考訳（メタデータ） (2023-11-15T11:11:25Z)
Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
論文参考訳（メタデータ） (2023-08-07T03:34:01Z)
Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T07:45:53Z)
Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
我々は,FedND:Federated Learning with noise distillationを提案する。クライアントでは,局所モデルを学習するための自己蒸留法を提案する。サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
論文参考訳（メタデータ） (2023-06-26T06:14:01Z)
Personalized Decentralized Federated Learning with Knowledge Distillation [5.469841541565307]
フェデレート学習機能のパーソナライゼーションは、データや振る舞いのばらつきが高いクライアントのコーディネータとして機能する。一般に、分散ネットワークにおいて、他のユーザーのモデルについて限られた知識の下で類似性を定量化することは困難である。本研究では,局所モデル間の統計的距離を識別するために,知識蒸留技術を活用したパーソナライズされた完全分散FLアルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-23T16:41:07Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
A Personalized Federated Learning Algorithm: an Application in Anomaly Detection [0.6700873164609007]
フェデレートラーニング(FL)は、データプライバシと送信問題を克服する有望な方法として最近登場した。 FLでは、異なるデバイスやセンサーから収集されたデータセットを使用して、各学習を集中型モデル(サーバ)と共有するローカルモデル(クライアント)をトレーニングする。本稿では,PC-FedAvg(Personalized FedAvg, PC-FedAvg)を提案する。
論文参考訳（メタデータ） (2021-11-04T04:57:11Z)
FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:39:54Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2021-02-09T11:27:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。