論文の概要: FedSteer: Taming Extreme Gradient Staleness in Federated Learning with Corrective Projections and Caching

• arxiv url: http://arxiv.org/abs/2606.10124v1
• Date: Mon, 08 Jun 2026 19:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.170108
• Title: FedSteer: Taming Extreme Gradient Staleness in Federated Learning with Corrective Projections and Caching
• Title（参考訳）: FedSteer: 修正プロジェクションとキャッシングによるフェデレーション学習における過度なグラディエント・ステールネスのモデリング
• Authors: Haoran Zhang, Cainã Figueiredo Pereira, Marie Siew, Xutong Liu, Carlee Joe-Wong, Rachid El-Azouzi,
• Abstract要約: フェデレートラーニング(FL)は、クライアントがトレーニングラウンドに一貫して参加していない場合、しばしばアグリゲーションのばらつきにさらされる。 本稿では,最近のクライアント勾配のキャッシュから勾配部分空間を構築する新しい手法であるFedSteerを提案する。 実験によると、FedSteerはベースラインを著しく上回り、挑戦的なシナリオのパフォーマンス低下を防ぎながら、他の7%以上の精度向上を実現している。
• 参考スコア（独自算出の注目度）: 19.908500286579727
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is often subject to aggregation variance if clients do not consistently participate in training rounds. While reusing stale model updates from inactive clients is a common technique to reduce this variance, we find that with skewed client participation, the resulting update staleness can become severe enough to destabilize training. To remedy this, we propose FedSteer, a novel method that constructs a gradient subspace from a cache of recent client gradients to serve as a low-dimensional representation of the current optimization landscape. FedSteer projects an active client's true gradient onto this subspace to find a set of optimal coordinates. For an inactive client, FedSteer reuses these coordinates with the now-evolved subspace drifted by other active clients. This process effectively "steers" outdated gradients toward the current global objective. This is complemented by a selective caching strategy that identifies a representative client subset to form the subspace, reducing server memory. Experiments demonstrate that FedSteer significantly outperforms baselines, preventing performance collapse in challenging scenarios while delivering accuracy gains of over 7% in others.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントがトレーニングラウンドに一貫して参加していない場合、しばしばアグリゲーションのばらつきにさらされる。 不活性なクライアントから古いモデル更新を再利用することは、このばらつきを減らすための一般的なテクニックであるが、歪んだクライアントの参加によって、結果として生じるアップデートの不安定さが、トレーニングを不安定にするのに十分な重大になる可能性がある。 そこで本研究では,最近のクライアント勾配のキャッシュから勾配部分空間を構築する手法であるFedSteerを提案する。 FedSteerはこの部分空間にアクティブクライアントの真の勾配を投影し、最適な座標の集合を見つける。 非アクティブクライアントの場合、FedSteerはこれらの座標を他のアクティブクライアントによってドリフトされた、現在進化しているサブスペースで再利用する。 このプロセスは、現在のグローバル目標に向けた時代遅れの勾配を効果的に"ステア"する。 これは、サーバメモリを減らすために、サブスペースを形成する代表クライアントサブセットを識別する選択的なキャッシュ戦略によって補完される。 実験によると、FedSteerはベースラインを著しく上回り、挑戦的なシナリオのパフォーマンス低下を防ぎながら、他の7%以上の精度向上を実現している。

関連論文リスト

• Strategic Incentivization for Locally Differentially Private Federated Learning [12.107007441973938]
  フェデレートラーニング(FL)では、複数のクライアントが、生のデータではなく勾配情報を複数のラウンドでサーバと共有することで、機械学習モデルを共同でトレーニングする。 ローカル微分プライバシ(LDP)では、クライアントがサーバに送信する前に、勾配に選択的にノイズを付加する。 本稿では,このプライバシ・精度のトレードオフをゲームとしてモデル化し,より高い精度を達成するために,より低レベルのノイズを加えるようにクライアントにインセンティブを与える。
  論文  参考訳（メタデータ） (2025-08-10T01:57:47Z)
• Towards Seamless Hierarchical Federated Learning under Intermittent Client Participation: A Stagewise Decision-Making Methodology [32.89391397781715]
  Hierarchical Federated Learning (HFL)は、クライアントを複数のクラスタにまとめ、中間モデルアグリゲーションにエッジノードを使用する。 HFLに関する現在の研究は主に、安定した固定されたクライアントセットを持つシナリオにおけるモデル精度、レイテンシ、エネルギー消費の向上に焦点を当てている。 本研究は, 断続的クライアント参加下でのHFLにおけるクライアント選択とクライアント間アソシエーションの最適化について検討する。
  論文  参考訳（メタデータ） (2025-02-13T13:16:10Z)
• CENSOR: Defense Against Gradient Inversion via Orthogonal Subspace Bayesian Sampling [63.07948989346385]
  フェデレーション学習は、グローバルサーバ上でニューラルネットワークを協調的にトレーニングする。 各ローカルクライアントは、現在のグローバルモデルウェイトを受信し、そのローカルプライベートデータに基づいてパラメータ更新(グラディエント)を返送する。 既存の勾配反転攻撃は、クライアントの勾配ベクトルからプライベートトレーニングインスタンスを復元するためにこの脆弱性を利用することができる。 本稿では,大規模ニューラルネットワークモデルに適した新しい防衛手法を提案する。
  論文  参考訳（メタデータ） (2025-01-27T01:06:23Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Provably Personalized and Robust Federated Learning [47.50663360022456]
  類似したクライアントのクラスタを識別し、パーソナライズされたモデルパークラスタを訓練する簡単なアルゴリズムを提案する。 アルゴリズムの収束率は、クライアントの真の基盤となるクラスタリングを知っていれば得られるものと一致します。
  論文  参考訳（メタデータ） (2023-06-14T09:37:39Z)
• Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated Learning [14.196701066823499]
  フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。 我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。 本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-04-11T14:51:55Z)
• Subspace based Federated Unlearning [75.90552823500633]
  フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。 既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。 そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T04:29:44Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Personalized Federated Learning with Exact Stochastic Gradient Descent [15.666401346622575]
  我々は、勾配SGD降下の正確な更新を実現するためのパーソナライズされたベンチマークに対する新しいアプローチを提案する。 本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、損失関数の最適化に向けてクライアント固有の更新を行う新しいSGD型スキームを提案する。 これにより、クライアントと一般的なパラメータによって実行されるパーソナライズされたパラメータの正確な最小化が可能になる。
  論文  参考訳（メタデータ） (2022-02-20T16:11:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。