論文の概要: Streaming Federated Learning with Markovian Data

• arxiv url: http://arxiv.org/abs/2503.18807v1
• Date: Mon, 24 Mar 2025 15:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:34:39.360245
• Title: Streaming Federated Learning with Markovian Data
• Title（参考訳）: Markovian Dataによるフェデレーション学習のストリーミング
• Authors: Tan-Khiem Huynh, Malcolm Egan, Giovanni Neglia, Jean-Marie Gorce,
• Abstract要約: フェデレートラーニング(FL)はコミュニケーション効率のよい協調学習の鍵となるフレームワークとして認識されている。 FLがマルコフデータストリームとの協調学習をサポートできるかを検討する。
• 参考スコア（独自算出の注目度）: 12.959520085435644
• License:
• Abstract: Federated learning (FL) is now recognized as a key framework for communication-efficient collaborative learning. Most theoretical and empirical studies, however, rely on the assumption that clients have access to pre-collected data sets, with limited investigation into scenarios where clients continuously collect data. In many real-world applications, particularly when data is generated by physical or biological processes, client data streams are often modeled by non-stationary Markov processes. Unlike standard i.i.d. sampling, the performance of FL with Markovian data streams remains poorly understood due to the statistical dependencies between client samples over time. In this paper, we investigate whether FL can still support collaborative learning with Markovian data streams. Specifically, we analyze the performance of Minibatch SGD, Local SGD, and a variant of Local SGD with momentum. We answer affirmatively under standard assumptions and smooth non-convex client objectives: the sample complexity is proportional to the inverse of the number of clients with a communication complexity comparable to the i.i.d. scenario. However, the sample complexity for Markovian data streams remains higher than for i.i.d. sampling.
• Abstract（参考訳）: フェデレートラーニング(FL)はコミュニケーション効率のよい協調学習の鍵となるフレームワークとして認識されている。 しかし、ほとんどの理論的および実証的研究は、クライアントが事前に収集されたデータセットにアクセス可能であるという仮定に依存しており、クライアントが継続的にデータを収集するシナリオについて限定的な調査がなされている。 多くの現実世界のアプリケーション、特に物理または生物学的プロセスによってデータが生成される場合、クライアントデータストリームは静止しないマルコフプロセスによってモデル化されることが多い。 標準の i.d. サンプリングとは異なり、 FL と Markovian のデータストリームのパフォーマンスは、時間とともにクライアントのサンプル間の統計的依存関係により、よく理解されていない。 本稿では,FLがマルコフデータストリームとの協調学習を引き続きサポートできるかどうかを検討する。 具体的には、Minibatch SGD, Local SGD, and a variant of Local SGD with momentumについて分析する。 サンプル複雑性は、i.i.d.シナリオに匹敵する通信複雑性を持つクライアント数の逆数に比例する。 しかし、マルコフデータストリームのサンプルの複雑さは、サンプリングの単位よりも高いままである。

関連論文リスト

• Learn How to Query from Unlabeled Data Streams in Federated Learning [8.963441227294235]
  フェデレートラーニング(FL)は、分散クライアント間の協調学習を可能にすると同時に、ローカルデータのプライバシ保護を可能にする。 FLに関する既存の研究は、トレーニングを開始すると、通常、各クライアントで利用可能なオフラインラベル付きデータを仮定する。 高価なアノテーションのコストを考えると、クライアントにラベルをつけるための情報的サンプルのサブセットを特定することが重要です。
  論文  参考訳（メタデータ） (2024-12-11T06:51:45Z)
• Fine-Tuning Personalization in Federated Learning to Mitigate Adversarial Clients [8.773068878015856]
  フェデレートラーニング(Federated Learning, FL)とは、複数のマシン(例えばクライアント)がデータをローカルに保持しながら一元的に学習できるようにする、魅力的なパラダイムである。 我々は、一部のクライアントが敵対できるFL設定を検討し、完全なコラボレーションが失敗する条件を導出する。
  論文  参考訳（メタデータ） (2024-09-30T14:31:19Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
  Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。 本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。 提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
  論文  参考訳（メタデータ） (2023-12-29T01:44:20Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Data Sampling Affects the Complexity of Online SGD over Dependent Data [54.92366535993012]
  本研究では,データサンプリング方式の違いが,高依存データに対するオンライン勾配勾配勾配の複雑さにどのように影響するかを示す。 データサンプルのサブサンプリングさえも、高度に依存したデータに対するオンラインSGDの収束を加速することができる。
  論文  参考訳（メタデータ） (2022-03-31T07:48:30Z)
• Federated Noisy Client Learning [105.00756772827066]
  フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。 標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。 本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
  論文  参考訳（メタデータ） (2021-06-24T11:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。