論文の概要: Collaborative Batch Size Optimization for Federated Learning
- arxiv url: http://arxiv.org/abs/2506.20511v1
- Date: Wed, 25 Jun 2025 14:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-26 21:00:42.79846
- Title: Collaborative Batch Size Optimization for Federated Learning
- Title(参考訳): フェデレーション学習のための協調バッチサイズ最適化
- Authors: Arno Geimer, Karthick Panner Selvam, Beltran Fiz Pontiveros,
- Abstract要約: 本稿では,ハードウェア利用最適化によるローカルトレーニングプロセスの改善に焦点をあてる。
フェデレートラーニング固有の並列処理を活用することで,局所的なバッチサイズを最適化するために,不規則なランダム化検索を使用する。
提案手法は,デフォルトパラメータ設定に対して,局所パラメータが最適化された場合とほぼ同等に保ちながら収束速度を向上することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a decentralized collaborative Machine Learning framework for training models without collecting data in a centralized location. It has seen application across various disciplines, from helping medical diagnoses in hospitals to detecting fraud in financial transactions. In this paper, we focus on improving the local training process through hardware usage optimization. While participants in a federation might share the hardware they are training on, since there is no information exchange between them, their training process can be hindered by an improper training configuration. Taking advantage of the parallel processing inherent to Federated Learning, we use a greedy randomized search to optimize local batch sizes for the best training settings across all participants. Our results show that against default parameter settings, our method improves convergence speed while staying nearly on par with the case where local parameters are optimized.
- Abstract(参考訳): Federated Learning (FL) は、集中した場所でデータを収集することなくモデルをトレーニングするための分散コラボレーティブな機械学習フレームワークである。
病院での医療診断や、金融取引における不正検出など、さまざまな分野に応用されている。
本稿では,ハードウェア利用最適化によるローカルトレーニングプロセスの改善に焦点をあてる。
フェデレーションの参加者はトレーニング対象のハードウェアを共有できるが、情報交換がないため、トレーニングプロセスが不適切なトレーニング設定によって妨げられる可能性がある。
フェデレートラーニング固有の並列処理を活用することで、すべての参加者で最適なトレーニング設定のために、局所的なバッチサイズを最適化するために、グレディランダム化検索を使用します。
提案手法は,デフォルトパラメータ設定に対して,局所パラメータが最適化された場合とほぼ同等に保ちながら収束速度を向上することを示す。
関連論文リスト
- PFedDST: Personalized Federated Learning with Decentralized Selection Training [8.21688083335571]
本稿ではPFedDST(Personalized Federated Learning with Decentralized Selection Training)フレームワークを紹介する。
PFedDSTは、包括的なコミュニケーションスコアに基づいて、デバイスが戦略的に評価し、ピアを選択することによって、モデルトレーニングを強化する。
実験の結果,PFedDSTはモデル精度を向上するだけでなく,収束を加速することがわかった。
論文 参考訳(メタデータ) (2025-02-11T18:25:48Z) - Sparse-ProxSkip: Accelerated Sparse-to-Sparse Training in Federated Learning [56.21666819468249]
FL(Federated Learning)では、クライアントリソースの制約と通信コストの両方が、大規模モデルのトレーニングに大きな問題を引き起こします。
最近の研究によると、局所的な訓練は加速によってコミュニケーションの複雑さを確実に改善する。
Sparse-ProxSkipを導入し、その課題に対処し、Sparse Training に展開する Straight-Through Estorimat の効率的な手法を実装した。
論文 参考訳(メタデータ) (2024-05-31T05:21:12Z) - Federated Bayesian Network Ensembles [3.24530181403525]
フェデレートされた学習により、プライバシの懸念によりデータ共有が許可されていない場合、分散化されたデータ上で機械学習アルゴリズムを実行することができます。
FBNEは、フェデレートされた学習ツールボックスの中で潜在的に有用なツールであることを示す。
本稿では,時間的複雑性,モデル精度,プライバシ保護,モデル解釈可能性の観点から,このアプローチのメリットとデメリットについて論じる。
論文 参考訳(メタデータ) (2024-02-19T13:52:37Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - TAMUNA: Doubly Accelerated Distributed Optimization with Local Training, Compression, and Partial Participation [53.84175614198885]
分散最適化と学習では、複数のマシンが並列にローカル計算と遠隔サーバとの通信を交互に行う。
ローカルトレーニングと圧縮の2つの戦略を共同で活用し,部分的参加を可能にする分散最適化のための最初のアルゴリズムであるTAMUNAを提案する。
論文 参考訳(メタデータ) (2023-02-20T08:37:44Z) - Certified Robustness in Federated Learning [54.03574895808258]
我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。
単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
論文 参考訳(メタデータ) (2022-06-06T12:10:53Z) - On Second-order Optimization Methods for Federated Learning [59.787198516188425]
フェデレート学習環境における局所的なステップを持つ2階分散手法の性能評価を行った。
本稿では,更新のための2階ローカル情報とグローバルライン検索を用いて,結果の局所的特異性に対処する新たな変種を提案する。
論文 参考訳(メタデータ) (2021-09-06T12:04:08Z) - Local Adaptivity in Federated Learning: Convergence and Consistency [25.293584783673413]
フェデレートラーニング(FL)フレームワークは、局所的に訓練されたモデルを定期的に集約することで、エッジクライアントデバイスに格納された分散データを使用して機械学習モデルをトレーニングする。
局所適応法は収束を加速できるが, 解バイアスを生じさせる可能性があることを示す。
本稿では,この不整合を克服し,FLの局所適応手法を補完する補正手法を提案する。
論文 参考訳(メタデータ) (2021-06-04T07:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。