Fugu-MT 論文翻訳(概要): Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data

論文の概要: Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data

arxiv url: http://arxiv.org/abs/2008.06180v2
Date: Wed, 20 Jan 2021 08:35:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-30 17:56:56.261057
Title: Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data
Title（参考訳）: 非IIDプライベートデータを用いたコミュニケーション効率の高い協調学習のための蒸留に基づく半教師付きフェデレーション学習
Authors: Sohei Itahara, Takayuki Nishio, Yusuke Koda, Masahiro Morikura and Koji Yamamoto
Abstract要約: 本研究では,主にインクリメンタルなコミュニケーションコストを克服するフェデレートラーニング(FL)フレームワークを開発する。モバイル端末間でローカルモデルの出力を交換する蒸留に基づく半教師付きFLアルゴリズムを提案する。 DS-FLでは、通信コストはモデルの出力次元にのみ依存し、モデルサイズに応じてスケールアップしない。
参考スコア（独自算出の注目度）: 8.935169114460663
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study develops a federated learning (FL) framework overcoming largely incremental communication costs due to model sizes in typical frameworks without compromising model performance. To this end, based on the idea of leveraging an unlabeled open dataset, we propose a distillation-based semi-supervised FL (DS-FL) algorithm that exchanges the outputs of local models among mobile devices, instead of model parameter exchange employed by the typical frameworks. In DS-FL, the communication cost depends only on the output dimensions of the models and does not scale up according to the model size. The exchanged model outputs are used to label each sample of the open dataset, which creates an additionally labeled dataset. Based on the new dataset, local models are further trained, and model performance is enhanced owing to the data augmentation effect. We further highlight that in DS-FL, the heterogeneity of the devices' dataset leads to ambiguous of each data sample and lowing of the training convergence. To prevent this, we propose entropy reduction averaging, where the aggregated model outputs are intentionally sharpened. Moreover, extensive experiments show that DS-FL reduces communication costs up to 99% relative to those of the FL benchmark while achieving similar or higher classification accuracy.
Abstract（参考訳）: 本研究では,モデル性能を損なうことなく,典型的なフレームワークのモデルサイズによるコミュニケーションコストの増大を克服するフェデレーション学習(fl)フレームワークを開発した。そこで本稿では,未ラベルのオープンデータセットを活用するアイデアに基づいて,一般的なフレームワークで使用されるモデルパラメータ交換ではなく,モバイルデバイス間でローカルモデルの出力を交換する蒸留に基づく半教師付きFL(DS-FL)アルゴリズムを提案する。 ds-flでは、通信コストはモデルの出力次元のみに依存し、モデルサイズに応じてスケールアップしない。交換されたモデル出力は、オープンデータセットの各サンプルにラベル付けされ、追加のラベル付きデータセットを生成する。新しいデータセットに基づいて、ローカルモデルはさらに訓練され、データ拡張効果によりモデルパフォーマンスが向上する。さらに、ds-flでは、デバイスのデータセットの多様性が各データサンプルの曖昧さとトレーニング収束の低下につながることを強調する。そこで本研究では,集約モデル出力を故意に研削するエントロピー低減平均化手法を提案する。さらに,ds-flは通信コストをflベンチマークと比較して最大99%削減し,分類精度を向上できることを示す実験を行った。

関連論文リスト

FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
One-Shot Sequential Federated Learning for Non-IID Data by Enhancing Local Model Diversity [26.09617693587105]
我々は,局所モデルの多様性向上戦略を提案することにより,非IIDデータに対する一発の逐次フェデレーション学習を改善する。提案手法は,既存のワンショットPFL法よりも優れた性能を示し,最先端のワンショットSFL法と比較して精度が向上する。
論文参考訳（メタデータ） (2024-04-18T12:31:48Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-12-10T18:49:59Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
ConDistFL: Conditional Distillation for Federated Learning from Partially Annotated Data [5.210280120905009]
コンディストFL(ConDistFL)は、フェデレートラーニング(FL)と知識蒸留を組み合わせた枠組みである。我々は,MSDとKITS19の課題から4つの異なる部分的腹部CTデータセットの枠組みを検証した。本研究は,コンディストFLが頻繁なアグリゲーションを伴わずに良好に機能し,FLの通信コストを低減できることを示唆する。
論文参考訳（メタデータ） (2023-08-08T06:07:49Z)
Tensor Decomposition based Personalized Federated Learning [12.420951968273574]
Federated Learning(FL)は、ユーザのプライベートデータを収集することなく、確実に協調的なトレーニングを実現する、新しい分散機械学習フレームワークである。 FLの頻繁なコミュニケーションと平均集約戦略により、統計多様性データや大規模モデルへのスケーリングが困難になる。本稿では,分解に基づくパーソナライズドラーニング(TDPFed)と呼ばれるFLフレームワークを提案する。このフレームワークでは,テンソル化線形層と畳み込み層を持つ新しいテンソル化局所モデルを設計し,通信コストを削減する。
論文参考訳（メタデータ） (2022-08-27T08:09:14Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。