論文の概要: Gradient Compression May Hurt Generalization: A Remedy by Synthetic Data Guided Sharpness Aware Minimization

• arxiv url: http://arxiv.org/abs/2602.11584v1
• Date: Thu, 12 Feb 2026 05:08:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.649379
• Title: Gradient Compression May Hurt Generalization: A Remedy by Synthetic Data Guided Sharpness Aware Minimization
• Title（参考訳）: 圧縮のグラディエント化: シャープネスを最小化した合成データによる改善
• Authors: Yujie Gu, Richeng Jin, Zhaoyang Zhang, Huaiyu Dai,
• Abstract要約: フェデレート学習(FL)における勾配圧縮は、無視可能な性能劣化を伴う通信効率を大幅に向上させる。 我々は,大域的モデル軌道を利用して合成データを構築し,大域的摂動の正確な推定を容易にするFedSynSAMを提案する。
• 参考スコア（独自算出の注目度）: 42.77143251031899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It is commonly believed that gradient compression in federated learning (FL) enjoys significant improvement in communication efficiency with negligible performance degradation. In this paper, we find that gradient compression induces sharper loss landscapes in federated learning, particularly under non-IID data distributions, which suggests hindered generalization capability. The recently emerging Sharpness Aware Minimization (SAM) effectively searches for a flat minima by incorporating a gradient ascent step (i.e., perturbing the model with gradients) before the celebrated stochastic gradient descent. Nonetheless, the direct application of SAM in FL suffers from inaccurate estimation of the global perturbation due to data heterogeneity. Existing approaches propose to utilize the model update from the previous communication round as a rough estimate. However, its effectiveness is hindered when model update compression is incorporated. In this paper, we propose FedSynSAM, which leverages the global model trajectory to construct synthetic data and facilitates an accurate estimation of the global perturbation. The convergence of the proposed algorithm is established, and extensive experiments are conducted to validate its effectiveness.
• Abstract（参考訳）: フェデレート学習(FL)における勾配圧縮は、無視可能な性能劣化を伴う通信効率を著しく向上させると考えられている。 本稿では,特に非IIDデータ分布下では,勾配圧縮がよりシャープなロスランドスケープを誘導し,一般化能力の妨げとなることを示唆する。 最近出現した Sharpness Aware Minimization (SAM) は、確率勾配降下前の勾配上昇ステップ(すなわち、勾配でモデルを摂動させる)を組み込むことで、平らなミニマを効果的に探索する。 それでも、FLにおけるSAMの直接適用は、データの不均一性による大域摂動の不正確な推定に悩まされている。 既存の手法では、前回の通信ラウンドからのモデル更新を大まかに見積もっている。 しかし、モデル更新圧縮が組み込まれた場合、その効果は妨げられる。 本稿では,大域的モデル軌道を利用して合成データを構築し,大域的摂動の正確な推定を容易にするFedSynSAMを提案する。 提案アルゴリズムの収束性を確立し,その有効性を検証するために広範な実験を行った。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization [35.922096876707975]
  PACE は PArameter- efficient fine-tuning with Consistency rEgularization の一般化である。 拡張一般化のための勾配を暗黙的に正規化するが、知識を保持するために微調整されたモデルや事前訓練されたモデルも暗黙的に整列する。 また、テキスト分類(GLUE)や数学的推論においてLoRAを改善している。
  論文  参考訳（メタデータ） (2024-09-25T17:56:00Z)
• Adaptive Adversarial Cross-Entropy Loss for Sharpness-Aware Minimization [2.8775022881551666]
  シャープネス・アウェアの最小化 (SAM) はモデル一般化を強化するために提案された。 SAMは2つの主要なステップ、重みの摂動ステップと重みの更新ステップから構成される。 本稿では、SAMの摂動に対する標準的なクロスエントロピー損失を置き換えるために、適応逆クロスエントロピー(AACE)損失関数を提案する。
  論文  参考訳（メタデータ） (2024-06-20T14:00:01Z)
• Soft ascent-descent as a stable and flexible alternative to flooding [6.527016551650139]
  我々は,軟化・ポイントワイド機構であるSoftADを提案する。この機構は,降水量と降水量の影響を制限し,洪水の上昇・昇華効果を維持できる。 我々は,より小さな損失一般化ギャップとモデル規範を享受しながら,浸水と競合する分類精度をSoftADが実現できることを実証する。
  論文  参考訳（メタデータ） (2023-10-16T02:02:56Z)
• Minimizing the Accumulated Trajectory Error to Improve Dataset Distillation [151.70234052015948]
  本稿では,フラットな軌道を求める最適化アルゴリズムを提案する。 合成データに基づいてトレーニングされた重みは、平坦な軌道への正規化を伴う累積誤差摂動に対して頑健であることを示す。 本手法はFTD (Flat Trajectory Distillation) と呼ばれ, 勾配整合法の性能を最大4.7%向上させる。
  論文  参考訳（メタデータ） (2022-11-20T15:49:11Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。