論文の概要: Unlocking the Potential of Model Calibration in Federated Learning
- arxiv url: http://arxiv.org/abs/2409.04901v3
- Date: Thu, 23 Jan 2025 01:47:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:56:11.500053
- Title: Unlocking the Potential of Model Calibration in Federated Learning
- Title（参考訳）: フェデレーション学習におけるモデル校正の可能性の解き放つ
- Authors: Yun-Wei Chu, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher Brinton,
- Abstract要約: モデルキャリブレーションの概念とFLを統合した汎用フレームワークであるNon-Uniform for Federated Learning (NUCFL)を提案する。
OurFLは、各クライアントのローカルモデルとFLのグローバルモデルの関係に基づいてモデルキャリブレーションを動的に調整することで、この問題に対処する。
これにより、FLは精度を犠牲にすることなく、グローバルモデルのキャリブレーション要求を効果的に調整する。
- 参考スコア（独自算出の注目度）: 15.93119575317457
- License:
- Abstract: Over the past several years, various federated learning (FL) methodologies have been developed to improve model accuracy, a primary performance metric in machine learning. However, to utilize FL in practical decision-making scenarios, beyond considering accuracy, the trained model must also have a reliable confidence in each of its predictions, an aspect that has been largely overlooked in existing FL research. Motivated by this gap, we propose Non-Uniform Calibration for Federated Learning (NUCFL), a generic framework that integrates FL with the concept of model calibration. The inherent data heterogeneity in FL environments makes model calibration particularly difficult, as it must ensure reliability across diverse data distributions and client conditions. Our NUCFL addresses this challenge by dynamically adjusting the model calibration objectives based on statistical relationships between each client's local model and the global model in FL. In particular, NUCFL assesses the similarity between local and global model relationships, and controls the penalty term for the calibration loss during client-side local training. By doing so, NUCFL effectively aligns calibration needs for the global model in heterogeneous FL settings while not sacrificing accuracy. Extensive experiments show that NUCFL offers flexibility and effectiveness across various FL algorithms, enhancing accuracy as well as model calibration.
- Abstract（参考訳）: 近年,機械学習における主要な性能指標であるモデル精度を向上させるために,様々なフェデレートラーニング法が開発されている。
しかし、FLを実際の意思決定シナリオで活用するためには、精度を考慮せずに、訓練されたモデルはそれぞれの予測に信頼性を持たなければならない。
そこで本研究では,FLとモデル校正の概念を統合した汎用フレームワークであるNon-Uniform Calibration for Federated Learning (NUCFL)を提案する。
FL環境における固有のデータ不均一性は、様々なデータ分散とクライアント条件の信頼性を保証する必要があるため、モデルのキャリブレーションを特に困難にします。
NUCFLは,各クライアントの局所モデルとFLのグローバルモデルとの統計的関係に基づいて,モデルの校正目標を動的に調整することで,この問題に対処する。
特に、NUCFLは、局所的モデル関係とグローバル的モデル関係の類似性を評価し、クライアント側ローカルトレーニングにおける校正損失のペナルティ項を制御する。
これにより、NUCFLは精度を犠牲にすることなく、不均一なFL設定でグローバルモデルのキャリブレーション要求を効果的に調整する。
大規模な実験により、NUCFLは様々なFLアルゴリズムの柔軟性と有効性を提供し、精度を向上し、モデルのキャリブレーションも向上した。
関連論文リスト
- Personalizing Low-Rank Bayesian Neural Networks Via Federated Learning [43.10083248484161]
パーソナライズド・フェデレーション・ラーニング(PFL)における不確かさの定量化
本稿では,グローバルな決定論的モデルとパーソナライズされた低ランクベイズ補正を学習する新しいBPFL法であるLR-BPFLを提案する。
我々は、LR-BPFLを様々なデータセットで評価し、キャリブレーション、精度、計算およびメモリ要求の観点からその利点を実証した。
論文 参考訳（メタデータ） (2024-10-18T11:50:54Z) - Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。
局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
論文 参考訳（メタデータ） (2024-09-05T19:00:18Z) - On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。
我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。
実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
論文 参考訳（メタデータ） (2024-07-23T11:35:42Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models [0.9940108090221528]
集約戦略は、分散決定論的モデルの重みとバイアスをプールまたはフューズするために開発されている。
決定論的モデルに対するFLスキームに付随するアグリゲーション手法の簡単な適用は不可能か、あるいは準最適性能をもたらすかを示す。
論文 参考訳（メタデータ） (2024-03-22T15:02:24Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。
我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。
我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文 参考訳（メタデータ） (2023-05-29T22:51:40Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳（メタデータ） (2020-04-24T15:16:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。