論文の概要: On the Generalization Gap of Streaming Federated Learning with Markovian Data

• arxiv url: http://arxiv.org/abs/2610.38686v1
• Date: Wed, 28 Oct 2026 18:56:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.400265
• Title: On the Generalization Gap of Streaming Federated Learning with Markovian Data
• Title（参考訳）: マルコフデータを用いたストリーミングフェデレーション学習の一般化ギャップについて
• Abstract要約: ストリーミングフェデレーション学習により、クライアントは大規模なローカルデータセットを保持することなく、共有モデルを継続的に到着するデータをトレーニングすることができる。 本稿では,情報理論およびレート歪み手法を用いて,クライアントデータがマルコフ過程に従う際の集約モデルの一般化ギャップについて検討する。
• 参考スコア（独自算出の注目度）: 21.80231244352478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Streaming federated learning (SFL) allows clients to train a shared model from continuously arriving data without retaining large local datasets. Such streams often exhibit temporal dependence, yet its effect on generalization remains poorly understood. In this paper we study the expected generalization gap of the aggregated model when client data follow Markov processes, using information-theoretic and rate-distortion techniques. Our framework accommodates heterogeneous Markovian dynamics across clients and distinguishes temporal dependence from information acquired during local learning. We establish bounds under cross-entropy loss, specializing them to Linear Next-Token Prediction (LNTP) and Self-Attention Next-Token Prediction (SANTP). These results quantify the effects of client count, communication rounds, sample size, data dimension, mixing time, and context length. In particular, they reveal a communication--generalization tradeoff: although frequent aggregation may help optimization, it can weaken generalization guarantees. They also suggest a potential advantage of distributed over centralized streaming learning under a fixed total data budget. Temporal dependence enters through the square root of the mixing time. By analyzing the history-state process, we obtain refined bounds with improved context-length dependence under suitable mixing conditions. Experiments on GPT-style language-model pretraining with TinyStories and real-world time-series forecasting illustrate how collaboration and communication frequency influence generalization under temporal dependence
• Abstract（参考訳）: ストリーミングフェデレーション学習(SFL)により、クライアントは大規模なローカルデータセットを保持することなく、共有モデルを継続的に到着するデータからトレーニングすることができる。 このような流れはしばしば時間的依存を示すが、一般化に対する影響は理解されていない。 本稿では,情報理論およびレート歪み手法を用いて,クライアントデータがマルコフプロセスに従う際の集約モデルの一般化ギャップについて検討する。 本フレームワークは、クライアント間の異種マルコフ力学に対応し、局所学習中に取得した情報と時間的依存を区別する。 我々は,LNTP(Linear Next-Token Prediction)とSANTP(Self-Attention Next-Token Prediction)に特化して,クロスエントロピー損失の下で境界を確立する。 これらの結果は、クライアント数、通信ラウンド、サンプルサイズ、データ次元、混合時間、コンテキストの長さの影響を定量化します。 頻繁な集約は最適化に役立つかもしれないが、一般化保証を弱める可能性がある。 彼らはまた、固定された全データ予算の下で、集中型ストリーミング学習よりも分散した利点があることを示唆している。 時間依存は混合時間の平方根を通過する。 履歴状態過程を解析することにより、適切な混合条件下での文脈長依存性を改善した洗練された境界を求める。 TinyStoriesと実世界の時系列予測を用いたGPT型言語モデルの事前学習実験は、時間的依存下での協調とコミュニケーションの頻度が一般化にどのように影響するかを示す

関連論文リスト

• Information-Theoretic Analysis of Next-Token Prediction under Markovian Data [19.072179047924973]
  時間依存データに基づく次点予測における一般化のための情報理論フレームワークを開発する。 クロスエントロピー損失に対しては、マルコフ連鎖に対するドンスカー-バラダン変分表現とマクダイアルミード型濃度不等式を用いて期待される一般化を導出する。 マージンに基づく予測では、雑音の多い低次元圧縮により線形および自己注意の次トーケン予測に対する明示的な境界を導出する。
  論文  参考訳（メタデータ） (2026-09-28T09:30:47Z)
• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• A federated large language model for long-term time series forecasting [4.696083734269233]
  長距離時系列予測に適した連合型大言語モデル(LLM)であるFedTimeを提案する。 エッジデバイスやクライアントを別のクラスタに分割するために、K平均クラスタリングを採用しています。 また、チャンネルの独立性やパッチの適用により、ローカルなセマンティック情報をよりよく保存する。
  論文  参考訳（メタデータ） (2024-07-30T02:38:27Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Federated Learning with Reduced Information Leakage and Computation [17.069452700698047]
  フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。 この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-10-10T06:22:06Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Straggler-Resilient Federated Learning: Leveraging the Interplay Between Statistical Accuracy and System Heterogeneity [57.275753974812666]
  フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。 本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2020-12-28T19:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。