Fugu-MT 論文翻訳(概要): FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning

論文の概要: FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning

arxiv url: http://arxiv.org/abs/2605.09144v1
Date: Sat, 09 May 2026 20:03:02 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:50.084546
Title: FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning
Title（参考訳）: FedVSSAM: シャープネスを意識したフェデレーション学習におけるフラットネス非互換性の軽減
Abstract要約: シャープネス・アウェア (SAM) は, 局所訓練を平らなミニマに向けて行うことにより, 連邦学習(FL)の一般化を改善する効果的な方法である。最小化抑制型シャープネス抑圧探索(FedVSSAM)によるフェデレーション学習を提案する。 FedVSSAMは、より安定したグローバルな方向への更新方向をアンカーし、局所的な平坦な摂動、局所的な更新で一貫して使用する。
参考スコア（独自算出の注目度）: 65.74073318961548
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sharpness-aware minimization (SAM) is an effective method for improving the generalization of federated learning (FL) by steering local training toward flat minima. Under data heterogeneity, however, device-side SAM searches for locally flat basins that are incompatible with the flat region preferred by the global objective. We identify this structural failure mode as flatness incompatibility, which explains why improving local flatness alone may provide limited training and generalization improvement for the global model. We reveal that flatness incompatibility arises from data heterogeneity and the friendly adversary phenomenon, and is further amplified by local updates and partial device participation. To mitigate this issue, we propose Federated Learning with variance-suppressed sharpness-aware minimization (FedVSSAM), which constructs a variance-suppressed adjusted direction and uses it consistently in local flatness search, local descent, and global update. FedVSSAM anchors both perturbation and update directions to a more stable global direction, instead of correcting only an isolated local perturbation. We establish non-convex convergence guarantees of FedVSSAM and prove that the mean-square deviation between the adjusted direction and the global gradient is effectively controlled. Experiments demonstrate that FedVSSAM mitigates flatness incompatibility and outperforms the baselines across diverse FL settings.
Abstract（参考訳）: Sharpness-Aware Minimization (SAM) は, 局所学習を平らなミニマに向けて操ることで, 連邦学習(FL)の一般化を改善する有効な方法である。しかし、データの不均一性の下では、デバイス側SAMは、グローバルな目的によって好まれる平坦な地域と相容れない局所的な平坦な盆地を探索する。我々は,この構造的故障モードを平坦性不整合性とみなし,局所的平坦性の改善だけでは,グローバルモデルに対する限られたトレーニングと一般化の改善をもたらす可能性がある理由を説明する。平坦性の不整合性はデータの不均一性や友好的な敵現象から生じ、局所的な更新や部分的なデバイス参加によってさらに増幅される。この問題を解決するために,分散抑制型シャープネス認識最小化(FedVSSAM)を提案する。 FedVSSAMは、孤立した局所摂動のみを修正するのではなく、摂動とより安定したグローバルな方向への更新の両方をアンカーする。我々は、FedVSSAMの非凸収束保証を確立し、調整方向と大域勾配の2乗平均偏差が効果的に制御されていることを証明した。実験により、FedVSSAMはフラットネスの非互換性を軽減し、さまざまなFL設定でベースラインを上回ります。

関連論文リスト

Federated Learning for Feature Generalization with Convex Constraints [9.335487623272604]
フェデレートラーニング(FL)は、異種クライアントデータによる一般化に苦慮することが多い。我々は,グローバルモデルのパラメータ強度に基づいて,更新サイズを適応的に変調するFedCONSTを提案する。
論文参考訳（メタデータ） (2026-06-12T12:50:33Z)
OmniISR: A Unified Framework for Centralized and Federated Learning via Intermediate Supervision and Regularization [58.03221830946145]
我々は、純粋なCL、純粋なFL、ハイブリッドCL-FLトレーニングモードを融合する統合フレームワークであるOmniISRを提案する。我々は,OmniISRが集中型パラダイムとフェデレーション型パラダイムの両方において,モデル性能を一貫して改善していることを示す。
論文参考訳（メタデータ） (2026-05-19T04:13:27Z)
FedNSAM:Consistency of Local and Global Flatness for Federated Learning [26.41380732455181]
ローカル更新にグローバルネステロフ運動量を導入してSAMアルゴリズムを高速化する新しい textbfFedNSAM アルゴリズムを提案する。 textbfFedNSAMは、クライアントのグローバルな摂動と外挿の局所的な推定の方向として、グローバルなネステロフ運動量を使用する。経験的に、我々は、textbfFedNSAMの優れた性能と効率を検証するために、CNNおよびTransformerモデルに関する包括的な実験を行う。
論文参考訳（メタデータ） (2026-02-27T09:07:47Z)
Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文参考訳（メタデータ） (2026-02-01T05:54:59Z)
Beyond Local Sharpness: Communication-Efficient Global Sharpness-aware Minimization for Federated Learning [23.733942517577134]
フェデレートラーニング(FL)は、プライバシ保護と協調的なモデルトレーニングを可能にする。近年のアプローチでは、クライアント側シャープネス認識最小化(SAM)を用いて、フラットな最小化を促進する。この研究は、サーバ上のグローバルシャープネスの最適化を優先する、新しいFLアプローチであるFedGloSSを導入している。
論文参考訳（メタデータ） (2024-12-04T22:46:06Z)
Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
論文参考訳（メタデータ） (2024-05-29T08:46:21Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。