論文の概要: On Using Large-Batches in Federated Learning

• arxiv url: http://arxiv.org/abs/2509.10537v1
• Date: Fri, 05 Sep 2025 17:31:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-21 06:05:45.796879
• Title: On Using Large-Batches in Federated Learning
• Title（参考訳）: フェデレーションラーニングにおける大規模バッチの利用について
• Authors: Sahil Tyagi,
• Abstract要約: フェデレートラーニングは、限られた計算リソースと有界ネットワークを持つデバイス上でのディープネットワークのトレーニングに不可欠である。 この研究は、小規模と大規模のトレーニングのトレードオフを活用するという私たちのビジョンを提案する。 同じ回数のイテレーションに対して、提案した大規模バッチトレーニング技術は、小バッチトレーニングよりも約32.33%、そして3.74%高いテスト精度を実現している。
• 参考スコア（独自算出の注目度）: 1.5229257192293202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient Federated learning (FL) is crucial for training deep networks over devices with limited compute resources and bounded networks. With the advent of big data, devices either generate or collect multimodal data to train either generic or local-context aware networks, particularly when data privacy and locality is vital. FL algorithms generally trade-off between parallel and statistical performance, improving model quality at the cost of higher communication frequency, or vice versa. Under frequent synchronization settings, FL over a large cluster of devices may perform more work per-training iteration by processing a larger global batch-size, thus attaining considerable training speedup. However, this may result in poor test performance (i.e., low test loss or accuracy) due to generalization degradation issues associated with large-batch training. To address these challenges with large-batches, this work proposes our vision of exploiting the trade-offs between small and large-batch training, and explore new directions to enjoy both the parallel scaling of large-batches and good generalizability of small-batch training. For the same number of iterations, we observe that our proposed large-batch training technique attains about 32.33% and 3.74% higher test accuracy than small-batch training in ResNet50 and VGG11 models respectively.
• Abstract（参考訳）: 効率的なフェデレートラーニング(FL)は、限られた計算リソースと有界ネットワークを持つデバイス上でのディープネットワークのトレーニングに不可欠である。 ビッグデータの出現により、デバイスは汎用的またはローカルなコンテキストを意識したネットワーク、特にデータのプライバシとローカリティが不可欠である場合に、マルチモーダルデータを生成または収集する。 FLアルゴリズムは一般に並列性と統計性能のトレードオフがあり、高い通信周波数のコストでモデル品質を改善する。 頻繁な同期設定の下では、多数のデバイスにまたがるFLは、より大規模なグローバルバッチサイズを処理することにより、トレーニング毎のイテレーションをより多く行うことができるため、相当なトレーニングスピードアップが達成できる。 しかし、これは大規模なバッチトレーニングに伴う一般化劣化問題に起因するテスト性能の低下(すなわち、テスト損失や精度の低下)をもたらす可能性がある。 大規模バッチによるこれらの課題に対処するため,本研究では,小バッチトレーニングと大規模バッチトレーニングのトレードオフを活用するというビジョンを提案し,大規模バッチの並列スケーリングと小バッチトレーニングの汎用性の両方を享受する新たな方向性を探求する。 同じ回数の反復に対して,提案手法はResNet50モデルとVGG11モデルでそれぞれ小バッチトレーニングよりも約32.33%,3.74%高い精度を達成できた。

関連論文リスト

• Prior-Fitted Networks Scale to Larger Datasets When Treated as Weak Learners [82.72552644267724]
  BoostPFNは、大規模なデータセットでトレーニングサンプルと同じサイズで、標準的なPFNよりもパフォーマンスがよい。 高い性能はPFNのトレーニング前サイズの最大50倍まで維持される。
  論文  参考訳（メタデータ） (2025-03-03T07:31:40Z)
• AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning [0.07227323884094951]
  ABトレーニングは、低ランク表現と独立したトレーニンググループを活用して通信オーバーヘッドを低減する新しいデータ並列手法である。 実験では,様々なスケーリングシナリオにおいて,ネットワークトラフィックの約70.31%が平均で減少することを示した。
  論文  参考訳（メタデータ） (2024-05-02T07:49:28Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
  フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。 クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。 本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
  論文  参考訳（メタデータ） (2023-07-29T02:35:37Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• Collaborative Learning over Wireless Networks: An Introductory Overview [84.09366153693361]
  主に、ワイヤレスデバイス間の協調トレーニングに焦点を合わせます。 過去数十年間、多くの分散最適化アルゴリズムが開発されてきた。 データ局所性 – すなわち、各参加デバイスで利用可能なデータがローカルのままである間、共同モデルを協調的にトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-12-07T20:15:39Z)
• Data optimization for large batch distributed training of deep neural networks [0.19336815376402716]
  ディープニューラルネットワークの分散トレーニングの現在のプラクティスは、大規模運用における通信ボトルネックの課題に直面している。 本研究では,局所的ミニマの少ない損失環境を暗黙的に平滑化するために,機械学習を用いたデータ最適化手法を提案する。 当社のアプローチでは,機能学習において重要でないデータポイントをフィルタリングすることで,より大きなバッチサイズでのモデルのトレーニングを高速化し,精度の向上を実現しています。
  論文  参考訳（メタデータ） (2020-12-16T21:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。