論文の概要: Approximate Agreement Algorithms for Byzantine Collaborative Learning

• arxiv url: http://arxiv.org/abs/2504.01504v1
• Date: Wed, 02 Apr 2025 08:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:18:25.761504
• Title: Approximate Agreement Algorithms for Byzantine Collaborative Learning
• Title（参考訳）: ビザンチン協調学習のための近似一致アルゴリズム
• Authors: Tijana Milentijević, Mélanie Cambus, Darya Melnyk, Stefan Schmid,
• Abstract要約: ビザンチンのコラボレーティブラーニングでは、ピアツーピアネットワーク内の$n$クライアントは、勾配推定を交換し集約することによって、データを共有せずにモデルを集合的に学習する。 我々の幾何学的中央値に基づくアプローチは、文献からの既知の平均値に基づくアプローチよりも、手指による攻撃を許容できることを示す。
• 参考スコア（独自算出の注目度）: 11.477670199123335
• License:
• Abstract: In Byzantine collaborative learning, $n$ clients in a peer-to-peer network collectively learn a model without sharing their data by exchanging and aggregating stochastic gradient estimates. Byzantine clients can prevent others from collecting identical sets of gradient estimates. The aggregation step thus needs to be combined with an efficient (approximate) agreement subroutine to ensure convergence of the training process. In this work, we study the geometric median aggregation rule for Byzantine collaborative learning. We show that known approaches do not provide theoretical guarantees on convergence or gradient quality in the agreement subroutine. To satisfy these theoretical guarantees, we present a hyperbox algorithm for geometric median aggregation. We practically evaluate our algorithm in both centralized and decentralized settings under Byzantine attacks on non-i.i.d. data. We show that our geometric median-based approaches can tolerate sign-flip attacks better than known mean-based approaches from the literature.
• Abstract（参考訳）: ビザンチンのコラボレーティブラーニングでは、ピアツーピアネットワーク内の$n$クライアントは、確率勾配推定を交換し集約することによって、データを共有せずにモデルを集合的に学習する。 ビザンティンのクライアントは、他のクライアントが同一の勾配推定値を集めるのを防ぐことができる。 したがって、アグリゲーションステップは、トレーニングプロセスの収束を保証するために、効率的な(近似的な)合意サブルーチンと組み合わせる必要がある。 本研究では,ビザンティン共同学習における幾何学的中央値集約規則について検討する。 既知のアプローチは、合意サブルーチンにおける収束や勾配品質に関する理論的保証を提供していないことを示す。 これらの理論的保証を満たすため、幾何的中央集権化のためのハイパーボックスアルゴリズムを提案する。 非i.d.データに対するビザンツの攻撃下で,我々のアルゴリズムを,中央集権的および分散的設定の両方で実際に評価する。 我々の幾何学的中央値に基づくアプローチは、文献からの既知の平均値に基づくアプローチよりも、手指による攻撃を許容できることを示す。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Byzantine Robustness and Partial Participation Can Be Achieved at Once: Just Clip Gradient Differences [61.74021364776313]
  分散学習は、大規模な機械学習モデルをトレーニングするための主要なパラダイムとして登場した。 現実のシナリオでは、参加者は信頼できないか悪意があるかもしれない。 本稿では,クライアントサンプリングとビザンチン労働者への許容性を備えた最初の分散手法を提案する。
  論文  参考訳（メタデータ） (2023-11-23T17:50:30Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning [10.667821026727573]
  フェデレーション学習は、複数の参加者がデータを共有せずに協力的にモデルをトレーニングするためのメカニズムとして生まれました。 対照的にスケーラブルで一般化可能な集約アルゴリズムであるLayerwisE Gradient AggregatTiOn(LEGATO)を紹介する。 LEGATOは、複数の最先端技術よりも計算効率が良く、より一般的に様々な攻撃設定において堅牢であることを示す。
  論文  参考訳（メタデータ） (2021-07-26T21:34:45Z)
• Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning) [8.129477477190363]
  我々はByzantineコラボレーティブラーニングを研究し、そこでは$n$ノードが互いのローカルデータから集合的に学習する。 我々は、協調学習が、平均的な合意と呼ばれる新しい形式の合意と等価であることを証明している。
  論文  参考訳（メタデータ） (2020-08-03T09:44:07Z)
• Byzantine-Resilient High-Dimensional Federated Learning [10.965065178451104]
  我々は、悪意のある/ビザンツ人クライアントの存在下で、局所的な反復を伴う勾配CV降下(SGD)を採用する。 クライアントは独自の勾配ベクトルのサブセットを取得してイテレーションを更新し、その後、ネットと通信する。 我々のアルゴリズムは、ローカルデータセットを用いた最初のビザンチン耐性アルゴリズムと分析であると信じている。
  論文  参考訳（メタデータ） (2020-06-22T03:54:36Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。