論文の概要: How Much Regularization Survives Averaging? Update Masking in Federated Learning

• arxiv url: http://arxiv.org/abs/2608.23286v1
• Date: Mon, 24 Aug 2026 14:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.130991
• Title: How Much Regularization Survives Averaging? Update Masking in Federated Learning
• Title（参考訳）: 正規化は平均でどれだけ生き残るか? フェデレートラーニングにおけるマスキングの更新
• Authors: Wenhao Yan, Fu Kuroda, Yucheng Jin, Zhenke Chen,
• Abstract要約: 非IIDデータのフェデレーション学習は、クライアント間での一般化のためにフラットなミニマを追求し、既存の手法は集中トレーニングからシャープネスを意識した最小化を借用している。 理由を示します。マスキングは鋭い方向に動くパラメータを課金します。 それぞれのクライアントが独自のマスクを描画すると、フェデレーション平均化によってコホートサイズが正確に低下し、すべてのクライアントに同じマスクを与えると、コホートの逆の多様性に匹敵する要因が返ってくることを証明します。
• 参考スコア（独自算出の注目度）: 4.140346675443387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning on non-IID data seeks flat minima to generalize across clients, and existing methods borrow sharpness-aware minimization from centralized training. There is a second way to reach flat minima, in which the regularization comes for free from noise added to the parameter updates, and it has never been carried over to the federated setting. We show the reason. Masking charges the optimizer for moving in sharp directions. We prove that when each client draws its own mask, federated averaging weakens that charge by exactly the cohort size, and that giving every client the same mask brings it back by a factor equal to the inverse gradient diversity of the cohort. In our experiment setting on CIFAR-10, that factor is 1.19 out of a possible 10. Turning off minibatch sampling raises it to 8.96, while changing data heterogeneity a hundredfold leaves it between 1.17 and 1.50. The configurations keeping the regularization train far too poorly to use.
• Abstract（参考訳）: 非IIDデータのフェデレーション学習は、クライアント間での一般化のためにフラットなミニマを追求し、既存の手法は集中トレーニングからシャープネスを意識した最小化を借用している。 フラットなミニマに到達するための第2の方法は、パラメータ更新に付加されるノイズから、正規化が無償で提供されることだ。 私たちはその理由を示します。 マスキングは、鋭い方向に動くためにオプティマイザを充電する。 それぞれのクライアントが独自のマスクを描画すると、フェデレーション平均化によってコホートサイズが正確に低下し、すべてのクライアントに同じマスクを与えると、コホートの逆勾配の多様性に等しい係数でそれを取り戻すことが証明される。 CIFAR-10での実験では、その係数は10のうち1.19である。 ミニバッチサンプリングをオフにすると8.96に上昇し、データを100倍に変更すると1.17から1.50に留まる。 正規化を保っている構成は、あまりにも使いづらい。

関連論文リスト

• Differentially Private Clustered Federated Learning with Privacy-Preserving Initialization and Normality-Driven Aggregation [25.94292199187493]
  フェデレートラーニング(FL)は、エンドデバイスに生データを保存しながら、グローバルモデルのトレーニングを可能にする。 これにもかかわらず、FLはプライベートなユーザー情報を漏洩していることを示しており、実際には、ディファレンシャルプライバシ(DP)やセキュアなベクトル和といった手法と組み合わせて、参加者に正式なプライバシ保証を提供することが多い。 PINAは、各クライアントが軽量なローランク適応(LoRA)アダプタを微調整し、更新の圧縮スケッチをプライベートに共有できる2段階フレームワークである。 第2段階では、PINAは収束と堅牢性を改善する正規性駆動の凝集機構を導入する。
  論文  参考訳（メタデータ） (2026-04-22T14:12:18Z)
• SPIRE: Conditional Personalization for Federated Diffusion Generative Models [7.8583640700306585]
  Shared Backbone Personal Identity Representation Embeddings (SPIRE)は、FLで条件付き生成としてクライアント拡散ベースの生成をキャストするフレームワークである。 SPIREは、ネットワークを(i)人口レベルのスコア関数を学習する高容量なグローバルバックボーンと、(ii)ローカルデータ統計を符号化する軽量で学習可能なクライアント埋め込みに分解する。 我々の分析は、クライアントの埋め込みが共有スコアネットワークをパーソナライズするバイアスとしてどのように振舞うかを示唆している。
  論文  参考訳（メタデータ） (2025-06-14T01:40:31Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Byzantine-Robust Federated Learning: Impact of Client Subsampling and Local Updates [11.616782769625003]
  逆境(エム・ビザンティン)のクライアントは、連邦学習(FL)を任意に操作する傾向がある。 学習精度の向上は, サブサンプルクライアント数に対して著しく低下することを示す。 また、注意深いステップ選択の下では、ビザンティンのクライアントによる学習エラーは局所的なステップの数とともに減少する。
  論文  参考訳（メタデータ） (2024-02-20T07:40:11Z)
• PerAda: Parameter-Efficient Federated Learning Personalization with Generalization Guarantees [95.87604231887353]
  既存のpFL手法は高い通信コストと計算コストをもたらすか、テスト通信に弱い。 PerAdaではパラメータ蒸留とpFL pFLが特に試験時間分布において優れた性能を示す。 私たちのコードはhttps://github.com/NV/PerAda.comで公開されています。
  論文  参考訳（メタデータ） (2023-02-13T19:00:37Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models [67.66144604972052]
  Federated Learning(FL)は、ユーザのプライバシを維持しながらモバイルデバイスのコンピューティングパワーを使用する、有望な方法だ。 テスト精度に影響を与える重要な問題は、異なるユーザーからのモデルの勾配の多様性であることを示す。 本稿では,FedAvg平均化を代替するグループモデル平均化手法を提案する。
  論文  参考訳（メタデータ） (2020-08-26T03:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。