論文の概要: Rethinking the Personalized Relaxed Initialization in the Federated Learning: Consistency and Generalization

• arxiv url: http://arxiv.org/abs/2604.12768v1
• Date: Tue, 14 Apr 2026 14:08:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.485615
• Title: Rethinking the Personalized Relaxed Initialization in the Federated Learning: Consistency and Generalization
• Title（参考訳）: フェデレーション学習における個人化緩和初期化の再考:一貫性と一般化
• Authors: Li Shen, Yan Sun, Dacheng Tao,
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズムであるFedInitを提案する。
• 参考スコア（独自算出の注目度）: 60.39868436334864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a distributed paradigm that coordinates massive local clients to collaboratively train a global model via stage-wise local training processes on the heterogeneous dataset. Previous works have implicitly studied that FL suffers from the ``client-drift'' problem, which is caused by the inconsistent optimum across local clients. However, till now it still lacks solid theoretical analysis to explain the impact of this local inconsistency. To alleviate the negative impact of ``client drift'' and explore its substance in FL, in this paper, we first propose an efficient FL algorithm FedInit, which allows employing the personalized relaxed initialization state at the beginning of each local training stage. Specifically, FedInit initializes the local state by moving away from the current global state towards the reverse direction of the latest local state. Moreover, to further understand how inconsistency disrupts performance in FL, we introduce the excess risk analysis and study the divergence term to investigate the test error in FL. Our studies show that optimization error is not sensitive to this local inconsistency, while it mainly affects the generalization error bound. Extensive experiments are conducted to validate its efficiency. The proposed FedInit method could achieve comparable results compared to several advanced benchmarks without any additional training or communication costs. Meanwhile, the stage-wise personalized relaxed initialization could also be incorporated into several current advanced algorithms to achieve higher generalization performance in the FL paradigm.
• Abstract（参考訳）: Federated Learning(FL)は、大規模なローカルクライアントをコーディネートして、異種データセット上のステージワイドなローカルトレーニングプロセスを通じてグローバルモデルを協調的にトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間での矛盾した最適化によって引き起こされる'client-drift'問題に苦しむことを暗黙的に研究してきた。 しかし、これまでは、この局所的な矛盾の影響を説明するためのしっかりとした理論的分析が欠けていた。 本稿では,「傾き」の負の影響を緩和し,その物質をFLで探索するために,各局所訓練段階の開始時に局所的に緩和された初期化状態を利用する,効率的なFLアルゴリズムであるFedInitを提案する。 具体的には、FedInitは、現在のグローバルステートから最新のローカルステートの逆方向に移行することで、ローカルステートを初期化する。 さらに,不整合がFLの性能を損なうことをさらに理解するために,過大なリスク分析を導入し,分散項を用いてFLの試験誤差を調査する。 本研究は,最適化誤差が局所的不整合に敏感ではないが,主に一般化誤差境界に影響を及ぼすことを示す。 その効率性を検証するために大規模な実験が行われた。 提案したFedInit法は、追加のトレーニングや通信コストを伴わずに、いくつかの高度なベンチマークと比較した結果が得られる。 一方、段階的にパーソナライズされた緩和初期化は、FLパラダイムの高度な一般化性能を達成するために、現在のいくつかの高度なアルゴリズムに組み込むこともできる。

関連論文リスト

• Federated Learning with Feedback Alignment [1.879054346828946]
  フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアント間で協調的なトレーニングを可能にする。 FLFA(Federated Learning with Feedback Alignment)は、フィードバックアライメントをFLに統合する新しいフレームワークである。 FLFAは、ローカルトレーニングの後方通過中に、グローバルモデルの重みを共有フィードバックマトリックスとして使用し、ローカル更新をグローバルモデルと効率的に整合させる。
  論文  参考訳（メタデータ） (2025-12-14T16:59:55Z)
• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• Understanding How Consistency Works in Federated Learning via Stage-wise Relaxed Initialization [84.42306265220274]
  フェデレートラーニング(Federated Learning, FL)は、大規模なローカルクライアントを協調してグローバルモデルをトレーニングする分散パラダイムである。 従来の研究は、FLがローカルクライアント間の矛盾した最適性によって引き起こされるクライアント・ドリフトの問題に悩まされていることを暗黙的に研究してきた。 FLにおけるクライアントドリフトの負の影響を緩和し,その物質を探索するために,我々はまず,効率的なFLアルゴリズム textitFedInit を設計する。
  論文  参考訳（メタデータ） (2023-06-09T06:55:15Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• On the Importance and Applicability of Pre-Training for Federated Learning [28.238484580662785]
  我々は,連合学習のための事前学習を体系的に研究する。 事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。 本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
  論文  参考訳（メタデータ） (2022-06-23T06:02:33Z)
• Generalized Federated Learning via Sharpness Aware Minimization [22.294290071999736]
  シャープネス・アウェア・ミニミゼーション(SAM)の局所性に基づく汎用的で効果的なアルゴリズムである textttFedSAM を提案し,局所的およびグローバルなモデルをブリッジする運動量FLアルゴリズムを開発した。 実験により,提案アルゴリズムは既存のFL研究を著しく上回り,学習偏差を著しく低減した。
  論文  参考訳（メタデータ） (2022-06-06T13:54:41Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Critical Learning Periods in Federated Learning [11.138980572551066]
  フェデレートラーニング(FL)は、機械学習(ML)モデルを分散データでトレーニングする一般的なテクニックである。 FLの最終試験精度は,トレーニングプロセスの初期段階に大きく影響していることがわかった。
  論文  参考訳（メタデータ） (2021-09-12T21:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。