論文の概要: Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum
- arxiv url: http://arxiv.org/abs/2311.18578v1
- Date: Thu, 30 Nov 2023 14:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:20:54.401350
- Title: Communication-Efficient Heterogeneous Federated Learning with
Generalized Heavy-Ball Momentum
- Title（参考訳）: 一般化重球運動量を用いたコミュニケーション効率のよいヘテロジニアスフェデレート学習
- Authors: Riccardo Zaccone, Carlo Masone, Marco Ciccone
- Abstract要約: 最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていないかのどちらかである。
本稿では,重球運動量の新たな一般化を提案し,通信オーバーヘッドを伴わずにFLの統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、一般的なFLビジョンとNLPデータセットに対して広範な実験を行い、FedHBMアルゴリズムは、特に病的非イドシナリオにおいて、より優れたモデル品質とより高い収束速度を経験的に得ることを示した。
- 参考スコア（独自算出の注目度）: 10.345853941184178
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is the state-of-the-art approach for learning from
decentralized data in privacy-constrained scenarios. As the current literature
reports, the main problems associated with FL refer to system and statistical
challenges: the former ones demand for efficient learning from edge devices,
including lowering communication bandwidth and frequency, while the latter
require algorithms robust to non-iidness. State-of-art approaches either
guarantee convergence at increased communication cost or are not sufficiently
robust to handle extreme heterogeneous local distributions. In this work we
propose a novel generalization of the heavy-ball momentum, and present FedHBM
to effectively address statistical heterogeneity in FL without introducing any
communication overhead. We conduct extensive experimentation on common FL
vision and NLP datasets, showing that our FedHBM algorithm empirically yields
better model quality and higher convergence speed w.r.t. the state-of-art,
especially in pathological non-iid scenarios. While being designed for
cross-silo settings, we show how FedHBM is applicable in moderate-to-high
cross-device scenarios, and how good model initializations (e.g. pre-training)
can be exploited for prompt acceleration. Extended experimentation on
large-scale real-world federated datasets further corroborates the
effectiveness of our approach for real-world FL applications.
- Abstract（参考訳）: Federated Learning(FL)は、プライバシ制約のあるシナリオにおける分散データから学ぶための最先端のアプローチである。
現在の文献によると、FLに関連する主な問題はシステムと統計上の課題を指しており、前者は通信帯域幅と周波数の低下を含むエッジデバイスからの効率的な学習を要求し、後者は非ID性に頑健なアルゴリズムを必要とする。
最先端のアプローチは、通信コストの増加で収束を保証するか、あるいは極端に異質な局所分布を扱うのに十分な堅牢性を持っていない。
本研究では,重球運動量の新しい一般化を提案し,通信オーバーヘッドを伴わずにFLにおける統計的不均一性を効果的に解くためのFedHBMを提案する。
我々は、共通flビジョンとnlpデータセットを広範囲に実験し、fedhbmアルゴリズムが経験的により優れたモデル品質と高い収束速度をもたらすことを示した。
クロスサイロ設定用に設計されている一方で、FedHBMが中間から高レベルのクロスデバイスシナリオにどのように適用され、モデル初期化(例えば事前トレーニング)が迅速なアクセラレーションにどの程度優れているかを示す。
大規模実世界のフェデレーションデータセットに対する拡張実験は、実世界のFLアプリケーションに対する我々のアプローチの有効性をさらに裏付けるものである。
関連論文リスト
- Towards Efficient Model-Heterogeneity Federated Learning for Large Models [18.008063521900702]
モデル・ヘテロジニティ・フェデレーション・ラーニング(MHFL)に適した革新的微調整フレームワークであるHeteroTuneを紹介する。
特に,マルチブランチ・クロスモデルアグリゲータを用いたFedAdapterという,パラメータ効率の高いファインチューニング構造を提案する。
軽量なFedAdapterの利点は、計算オーバーヘッドと通信オーバーヘッドの両方を大幅に削減することにある。
論文 参考訳（メタデータ） (2024-11-25T09:58:51Z) - DynamicFL: Federated Learning with Dynamic Communication Resource Allocation [34.97472382870816]
Federated Learning(FL)は、複数のユーザがローカルデータを使ってモデルを分散的にトレーニングできる、協調的な機械学習フレームワークである。
我々は,グローバルモデルの性能と通信コストのトレードオフを調査する新しいFLフレームワークであるDynamicFLを紹介する。
モデル精度は最大10%向上し,DynamicFLは最先端の手法を超越していることを示す。
論文 参考訳（メタデータ） (2024-09-08T05:53:32Z) - Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。
我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。
提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
論文 参考訳（メタデータ） (2024-03-18T14:51:19Z) - Take History as a Mirror in Heterogeneous Federated Learning [9.187993085263209]
フェデレートラーニング(FL)は、いくつかのクライアントが生データを開示することなく、機械学習モデルを協調的にトレーニングすることを可能にする。
本稿では,FedHist(Federated Historical Learning)と呼ばれる新しい非同期FLフレームワークを提案する。
FedHistは、非IIDデータと勾配の安定化によって引き起こされる課題に効果的に対処する。
論文 参考訳（メタデータ） (2023-12-16T11:40:49Z) - Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。
本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。
その独特な洞察力のある性質とその分析も提示される。
論文 参考訳（メタデータ） (2023-10-30T14:15:47Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳（メタデータ） (2023-09-05T13:42:11Z) - FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。
FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。
本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
論文 参考訳（メタデータ） (2023-03-23T15:37:17Z) - Towards Fair Federated Recommendation Learning: Characterizing the
Inter-Dependence of System and Data Heterogeneity [6.355248215478912]
フェデレートラーニング(FL)は、デバイス上で機械学習モデルトレーニングを実行することで、レコメンデータシステムにおけるデータプライバシの効果的なメカニズムである。
以前のFL最適化では、FLが直面するデータとシステムの不均一性の問題に対処していたが、両者は互いに独立していると仮定した。
本稿では、実世界のデータにおけるデータとシステムの不均一性の相互依存性を示すために、データ駆動型アプローチを採用し、モデル全体の品質と公平性に与える影響を定量化する。
論文 参考訳（メタデータ） (2022-05-30T20:59:35Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳（メタデータ） (2021-11-04T15:36:25Z) - Supercharging Imbalanced Data Learning With Energy-based Contrastive
Representation Transfer [72.5190560787569]
コンピュータビジョンにおいて、長い尾のデータセットからの学習は、特に自然画像データセットの繰り返しのテーマである。
本稿では,データ生成機構がラベル条件と特徴分布の間で不変であるメタ分散シナリオを提案する。
これにより、因果データインフレーションの手順を利用してマイノリティクラスの表現を拡大できる。
論文 参考訳（メタデータ） (2020-11-25T00:13:11Z) - FedDANE: A Federated Newton-Type Method [49.9423212899788]
フェデレートラーニングは、大規模分散データセット上で低統計モデルを共同で学習することを目的としている。
我々は、フェデレーション学習を扱うために、DANEから適応する最適化であるFedDANEを提案する。
論文 参考訳（メタデータ） (2020-01-07T07:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。