論文の概要: Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation

• arxiv url: http://arxiv.org/abs/2509.02970v1
• Date: Wed, 03 Sep 2025 03:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 21:40:46.399743
• Title: Delayed Momentum Aggregation: Communication-efficient Byzantine-robust Federated Learning with Partial Participation
• Title（参考訳）: 遅延モーメントアグリゲーション:部分参加によるコミュニケーション効率の良いビザンチン・ロバスト・フェデレーションラーニング
• Authors: Kaoru Otsuka, Yuki Takezawa, Makoto Yamada,
• Abstract要約: フェデレートラーニング(FL)は、データのプライバシを保持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にする。 現在のByzantine-robust FLメソッドは、完全なクライアント参加を前提としています。 サーバが非参加型クライアントから最も最近受け取ったモーメントを集約する新しい原理である遅延モーメントアグリゲーションを導入する。 深層学習の課題に関する実験は、ビザンツの様々な攻撃下での安定的で堅牢な訓練を示す理論的な知見を検証した。
• 参考スコア（独自算出の注目度）: 18.755022483546323
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) allows distributed model training across multiple clients while preserving data privacy, but it remains vulnerable to Byzantine clients that exhibit malicious behavior. While existing Byzantine-robust FL methods provide strong convergence guarantees (e.g., to a stationary point in expectation) under Byzantine attacks, they typically assume full client participation, which is unrealistic due to communication constraints and client availability. Under partial participation, existing methods fail immediately after the sampled clients contain a Byzantine majority, creating a fundamental challenge for sparse communication. First, we introduce delayed momentum aggregation, a novel principle where the server aggregates the most recently received gradients from non-participating clients alongside fresh momentum from active clients. Our optimizer D-Byz-SGDM (Delayed Byzantine-robust SGD with Momentum) implements this delayed momentum aggregation principle for Byzantine-robust FL with partial participation. Then, we establish convergence guarantees that recover previous full participation results and match the fundamental lower bounds we prove for the partial participation setting. Experiments on deep learning tasks validated our theoretical findings, showing stable and robust training under various Byzantine attacks.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データのプライバシを維持しながら、複数のクライアントにわたる分散モデルトレーニングを可能にするが、悪意のある振る舞いを示すビザンツのクライアントには依然として脆弱である。 既存のByzantine-robust FL メソッドは、Byzantine 攻撃下での強い収束保証(例えば、定常的な期待点)を提供するが、通常は完全なクライアント参加を前提としており、通信制約やクライアントの可用性のために非現実的である。 部分的な参加の下では、既存のメソッドは、サンプルクライアントがビザンチンの多数派を含むとすぐに失敗し、スパース通信の根本的な課題を生み出します。 まず、サーバが非参加型クライアントからの最も最近受信した勾配を、アクティブなクライアントからの新たなモーメントとともに集約する新しい原理である遅延モーメントアグリゲーションを導入する。 我々の最適化器D-Byz-SGDM (Delayed Byzantine-robust SGD with Momentum) は、部分的な参加を伴うビザンチン-robust FLに対してこの遅延運動量集約原理を実装している。 そして、前回の完全参加結果の回復と、部分参加設定で証明した基本的下位限とを一致させる収束保証を確立する。 深層学習の課題に関する実験は、ビザンツの様々な攻撃下での安定的で堅牢な訓練を示す理論的な知見を検証した。

関連論文リスト

• FedGreed: A Byzantine-Robust Loss-Based Aggregation Method for Federated Learning [1.3853653640712935]
  フェデレートラーニング(FL)は、デバイス上のローカルデータセットを保持することで、データのプライバシを保ちながら、複数のクライアント間で協調的なモデルトレーニングを可能にする。 本研究では,クライアントがビザンツ攻撃を行い,クライアントが逆さまに振る舞うようなFL設定に対処する一方,中央サーバは信頼され,参照データセットが装備される。 本稿では,フェデレート学習のためのレジリエントアグリゲーション戦略であるFedGreedを提案する。
  論文  参考訳（メタデータ） (2025-08-25T14:20:19Z)
• Rethinking Byzantine Robustness in Federated Recommendation from Sparse Aggregation Perspective [65.65471972217814]
  フェデレーションラーニング(FL)に基づいたフェデレーションレコメンデーション(FR)が出現し、個人データをローカルクライアントに保持し、モデルを協調的に更新する。 FR には独自のスパース集約機構があり、各項目の埋め込みは、一般の FL の密集集合において、完全なクライアントではなく、部分的なクライアントによって更新される。 本稿では,単一項目の集約を最小の実行単位として定義することにより,スパースアグリゲーションの下でのビザンチンのロバスト性を再構成する。 本研究では,スパースアグリゲーションの脆弱性を悪用し,敵の知識と能力に沿って分類する,Sp attackという効果的な攻撃戦略のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-01-06T15:19:26Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Robust Federated Learning via Over-The-Air Computation [48.47690125123958]
  オーバー・ザ・エア計算によるモデル更新の簡易な平均化により、学習タスクは悪意のあるクライアントのローカルモデル更新のランダムまたは意図した変更に対して脆弱になる。 本稿では,このような攻撃に対して,フェデレート学習のためのオーバー・ザ・エア計算の利点を保ちながら,ロバストな伝達と集約の枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-01T19:21:21Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。