Fugu-MT 論文翻訳(概要): Improving Local Training in Federated Learning via Temperature Scaling

論文の概要: Improving Local Training in Federated Learning via Temperature Scaling

arxiv url: http://arxiv.org/abs/2401.09986v2
Date: Wed, 26 Jun 2024 10:16:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-27 19:14:34.074606
Title: Improving Local Training in Federated Learning via Temperature Scaling
Title（参考訳）: 温度スケーリングによるフェデレーション学習におけるローカルトレーニングの改善
Authors: Kichang Lee, Songkuk Kim, JeongGil Ko,
Abstract要約: そこで本研究では,ロジット・チル化手法を利用したフェデレーション学習のための新しいモデルトレーニング手法FLex&Chillを提案する。我々は,グローバルフェデレーション学習モデルの収束時間において最大6倍の改善を観察し,推論精度を最大3.37%改善した。
参考スコア（独自算出の注目度）: 8.821030737167343
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Federated learning is inherently hampered by data heterogeneity: non-i.i.d. training data over local clients. We propose a novel model training approach for federated learning, FLex&Chill, which exploits the Logit Chilling method. Through extensive evaluations, we demonstrate that, in the presence of non-i.i.d. data characteristics inherent in federated learning systems, this approach can expedite model convergence and improve inference accuracy. Quantitatively, from our experiments, we observe up to 6X improvement in the global federated learning model convergence time, and up to 3.37% improvement in inference accuracy.
Abstract（参考訳）: フェデレートラーニングはデータ不均一性によって本質的に妨げられている。本稿では,ロジット・チル化手法を利用した新しいモデル学習手法FLex&Chillを提案する。本研究では,フェデレート学習システムに固有の非二項データ特性の存在下で,モデル収束の迅速化と推論精度の向上を実証する。本実験から,グローバルフェデレーション学習モデルの収束時間における最大6倍の改善と,推論精度の最大3.37%の改善を定量的に観察した。

関連論文リスト

Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
pFedES: Model Heterogeneous Personalized Federated Learning with Feature Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文参考訳（メタデータ） (2023-11-12T15:43:39Z)
Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文参考訳（メタデータ） (2023-01-25T03:18:10Z)
Depersonalized Federated Learning: Tackling Statistical Heterogeneity by Alternating Stochastic Gradient Descent [6.394263208820851]
フェデレート・ラーニング(FL)は、デバイスがデータ共有なしでインテリジェントな推論のために共通の機械学習(ML)モデルをトレーニングすることを可能にする。様々な共役者によって保持される生データは、常に不特定に分散される。本稿では,このプロセスのデスピードにより統計的に大幅に最適化できる新しいFLを提案する。
論文参考訳（メタデータ） (2022-10-07T10:30:39Z)
Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文参考訳（メタデータ） (2022-06-06T12:10:53Z)
CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning [27.84845136697669]
我々は,グローバルモデルとローカルモデル間の知識伝達の程度を研究するために,新しい知識蒸留に基づくアプローチを開発する。提案手法は局所モデルの大幅な高速化と高いパーソナライズ性能を実現する。
論文参考訳（メタデータ） (2022-04-04T14:49:19Z)
Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文参考訳（メタデータ） (2021-12-25T14:58:52Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
CosSGD: Nonlinear Quantization for Communication-efficient Federated Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文参考訳（メタデータ） (2020-12-15T12:20:28Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。