論文の概要: Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
- arxiv url: http://arxiv.org/abs/2602.04536v1
- Date: Wed, 04 Feb 2026 13:27:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.537661
- Title: Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
- Title（参考訳）: 一般化を忘れる:フェデレートラーニングにおける一般化のための反復的適応
- Authors: Abdulrahman Alotaibi, Irene Tenison, Miriam Kim, Isaac Lee, Lalana Kagal,
- Abstract要約: 我々は、異種環境における一般化を促進する新しい訓練パラダイム、IFA(Iterative Federated Adaptation)を提案する。
CIFAR-10、MIT-Indoors、Stanford Dogsのデータセットに対する実験は、提案手法がグローバルな精度を改善することを示している。
- 参考スコア（独自算出の注目度）: 1.2559585990041289
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Web is naturally heterogeneous with user devices, geographic regions, browsing patterns, and contexts all leading to highly diverse, unique datasets. Federated Learning (FL) is an important paradigm for the Web because it enables privacy-preserving, collaborative machine learning across diverse user devices, web services and clients without needing to centralize sensitive data. However, its performance degrades severely under non-IID client distributions that is prevalent in real-world web systems. In this work, we propose a new training paradigm - Iterative Federated Adaptation (IFA) - that enhances generalization in heterogeneous federated settings through generation-wise forget and evolve strategy. Specifically, we divide training into multiple generations and, at the end of each, select a fraction of model parameters (a) randomly or (b) from the later layers of the model and reinitialize them. This iterative forget and evolve schedule allows the model to escape local minima and preserve globally relevant representations. Extensive experiments on CIFAR-10, MIT-Indoors, and Stanford Dogs datasets show that the proposed approach improves global accuracy, especially when the data cross clients are Non-IID. This method can be implemented on top any federated algorithm to improve its generalization performance. We observe an average of 21.5%improvement across datasets. This work advances the vision of scalable, privacy-preserving intelligence for real-world heterogeneous and distributed web systems.
- Abstract（参考訳）: Webは、ユーザデバイス、地理的領域、ブラウジングパターン、コンテキストなどと自然に異質であり、非常に多様なユニークなデータセットを生み出します。
機密データを集中化することなく、さまざまなユーザデバイス、Webサービス、クライアント間で、プライバシ保護、協調的な機械学習を可能にするため、フェデレートラーニング(FL)はWebにとって重要なパラダイムである。
しかし,実世界のWebシステムで普及している非IIDクライアントディストリビューションでは,性能が著しく低下する。
本研究は,創発的忘れと進化戦略を通じて異種フェデレーション設定の一般化を促進する新たなトレーニングパラダイムであるIFA(Iterative Federated Adaptation)を提案する。
具体的には、トレーニングを複数の世代に分割し、最後にはモデルのパラメータのごく一部を選択する。
a)ランダムに、または、
(b) モデルの後半層から再起動する。
この反復的忘れと進化のスケジュールにより、モデルはローカルなミニマから逃げ出し、グローバルな関連する表現を保存することができる。
CIFAR-10、MIT-Indoors、Stanford Dogsのデータセットに対する大規模な実験は、提案手法がグローバルな精度を改善することを示している。
この手法は任意のフェデレーションアルゴリズム上に実装でき、一般化性能を向上させることができる。
データセット間での平均的な21.5%の改善を観察します。
この研究は、現実世界の異種および分散Webシステムのためのスケーラブルでプライバシー保護のインテリジェンスというビジョンを前進させる。
関連論文リスト
- Fed-REACT: Federated Representation Learning for Heterogeneous and Evolving Data [19.33095080645165]
Fed-REACTは、異種および進化するクライアントデータ用に設計されたフェデレート学習フレームワークである。
本稿では,表現学習段階の理論解析を行い,実世界のデータセットにおいてFed-REACTが優れた精度とロバスト性を達成することを実証した。
論文 参考訳（メタデータ） (2025-09-08T20:24:40Z) - CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。
中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。
本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
論文 参考訳（メタデータ） (2024-07-17T03:17:53Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳（メタデータ） (2022-11-10T13:20:56Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - Quasi-Global Momentum: Accelerating Decentralized Deep Learning on
Heterogeneous Data [77.88594632644347]
ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。
現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。
本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-02-09T11:27:14Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳（メタデータ） (2020-12-10T12:18:13Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。