論文の概要: Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach

• arxiv url: http://arxiv.org/abs/2402.18018v1
• Date: Wed, 28 Feb 2024 03:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 16:23:02.417125
• Title: Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach
• Title（参考訳）: コミュニケーション効率のよいコンフェデレーション学習:イベントトリガー型SAGAアプローチ
• Authors: Bin Wang and Jun Fang and Hongbin Li and Yonina C. Eldar
• Abstract要約: Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
• 参考スコア（独自算出の注目度）: 67.27031215756121
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a machine learning paradigm that targets model training without gathering the local data dispersed over various data sources. Standard FL, which employs a single server, can only support a limited number of users, leading to degraded learning capability. In this work, we consider a multi-server FL framework, referred to as \emph{Confederated Learning} (CFL), in order to accommodate a larger number of users. A CFL system is composed of multiple networked edge servers, with each server connected to an individual set of users. Decentralized collaboration among servers is leveraged to harness all users' data for model training. Due to the potentially massive number of users involved, it is crucial to reduce the communication overhead of the CFL system. We propose a stochastic gradient method for distributed learning in the CFL framework. The proposed method incorporates a conditionally-triggered user selection (CTUS) mechanism as the central component to effectively reduce communication overhead. Relying on a delicately designed triggering condition, the CTUS mechanism allows each server to select only a small number of users to upload their gradients, without significantly jeopardizing the convergence performance of the algorithm. Our theoretical analysis reveals that the proposed algorithm enjoys a linear convergence rate. Simulation results show that it achieves substantial improvement over state-of-the-art algorithms in terms of communication efficiency.
• Abstract（参考訳）: Federated Learning(FL)は、さまざまなデータソースに分散したローカルデータを収集することなく、モデルトレーニングをターゲットにした機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,マルチサーバ型flフレームワークを \emph{confederated learning} (cfl) として検討する。 cflシステムは複数のネットワーク化されたエッジサーバで構成され、各サーバは個々のユーザ群に接続されている。 サーバ間の分散コラボレーションを利用して、すべてのユーザのデータをモデルトレーニングに活用する。 膨大な数のユーザが関与する可能性があるため、CFLシステムの通信オーバーヘッドを低減することが重要である。 CFLフレームワークにおける分散学習のための確率勾配法を提案する。 提案手法は,通信オーバヘッドを効果的に低減するために,条件付きユーザ選択(CTUS)機構を中心コンポーネントとして組み込む。 微妙に設計されたトリガー条件に基づき、CTUSメカニズムにより、各サーバはアルゴリズムの収束性能を著しく損なうことなく、少数のユーザーだけが勾配をアップロードできる。 理論的解析により,提案アルゴリズムは線形収束率を満足することが明らかとなった。 シミュレーションの結果,通信効率の面では最先端アルゴリズムよりも大幅に改善できることがわかった。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Scheduling and Communication Schemes for Decentralized Federated Learning [0.31410859223862103]
  勾配降下(SGD)アルゴリズムを用いた分散連合学習(DFL)モデルが導入された。 DFLの3つのスケジューリングポリシーがクライアントと並列サーバ間の通信のために提案されている。 その結果,提案した計画警察は,収束速度と最終グローバルモデルの両方に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2023-11-27T17:35:28Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Fast-Convergent Federated Learning via Cyclic Aggregation [10.658882342481542]
  フェデレートラーニング(FL)は、複数のエッジデバイス上で共有グローバルモデルを最適化することを目的として、中央サーバに(プライベート)データを送信しない。 本稿では,サーバ側での循環学習率を利用して,性能向上によるトレーニングイテレーション数を削減した。 数値計算の結果,提案したサイクリックアグリゲーションを既存のFLアルゴリズムに簡単に差し込むことで,学習イテレーションの数を効果的に減らし,性能が向上することを確認した。
  論文  参考訳（メタデータ） (2022-10-29T07:20:59Z)
• Time Minimization in Hierarchical Federated Learning [11.678121177730718]
  フェデレートラーニング(Federated Learning)は、ユーザ機器が機械学習タスクをローカルに実行し、モデルパラメータを中央サーバにアップロードする、現代的な分散機械学習技術である。 本稿では,クラウドとエッジサーバ間のモデルパラメータ交換を含む3層階層型階層型学習システムについて考察する。
  論文  参考訳（メタデータ） (2022-10-07T13:53:20Z)
• Confederated Learning: Federated Learning with Decentralized Edge Servers [42.766372620288585]
  Federated Learning(FL)は、中央サーバでデータを集約することなく、モデルトレーニングを達成可能な、新興の機械学習パラダイムである。 本稿では,各サーバが個々のデバイスに接続されたConFederated Learning(CFL)フレームワークを提案する。 提案アルゴリズムはランダムなスケジューリングポリシを用いて,各イテレーションで各サーバにアクセスするデバイスサブセットをランダムに選択する。
  論文  参考訳（メタデータ） (2022-05-30T07:56:58Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Communication-Efficient Hierarchical Federated Learning for IoT Heterogeneous Systems with Imbalanced Data [42.26599494940002]
  フェデレートラーニング(Federated Learning, FL)は、複数のノードが協調してディープラーニングモデルをトレーニングできる分散ラーニング方法論である。 本稿では,IoTヘテロジニアスシステムにおける階層FLの可能性について検討する。 複数のエッジノード上でのユーザ割り当てとリソース割り当てに最適化されたソリューションを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:32:39Z)
• Wireless Communications for Collaborative Federated Learning [160.82696473996566]
  IoT(Internet of Things)デバイスは、収集したデータを中央のコントローラに送信することができず、機械学習モデルをトレーニングすることができる。 GoogleのセミナルFLアルゴリズムでは、すべてのデバイスを中央コントローラに直接接続する必要がある。 本稿では,コラボレーティブFL(CFL)と呼ばれる新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:00:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。