論文の概要: FedQV: Leveraging Quadratic Voting in Federated Learning
- arxiv url: http://arxiv.org/abs/2401.01168v2
- Date: Tue, 9 Apr 2024 07:46:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 19:47:12.934597
- Title: FedQV: Leveraging Quadratic Voting in Federated Learning
- Title(参考訳): FedQV: フェデレートラーニングにおける二次投票の活用
- Authors: Tianyue Chu, Nikolaos Laoutaris,
- Abstract要約: 本稿では,2次投票方式に基づく新しい集約アルゴリズムであるFedQVを提案する。
我々は、FedQVとビザンチンの不正なプライバシー保護機構を組み合わせることで、毒性攻撃とプライバシー攻撃の両方に対する堅牢性を高めることができることを示した。
- 参考スコア(独自算出の注目度): 2.4554686192257424
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) permits different parties to collaboratively train a global model without disclosing their respective local labels. A crucial step of FL, that of aggregating local models to produce the global one, shares many similarities with public decision-making, and elections in particular. In that context, a major weakness of FL, namely its vulnerability to poisoning attacks, can be interpreted as a consequence of the one person one vote (henceforth 1p1v) principle underpinning most contemporary aggregation rules. In this paper, we propose FedQV, a novel aggregation algorithm built upon the quadratic voting scheme, recently proposed as a better alternative to 1p1v-based elections. Our theoretical analysis establishes that FedQV is a truthful mechanism in which bidding according to one's true valuation is a dominant strategy that achieves a convergence rate that matches those of state-of-the-art methods. Furthermore, our empirical analysis using multiple real-world datasets validates the superior performance of FedQV against poisoning attacks. It also shows that combining FedQV with unequal voting ``budgets'' according to a reputation score increases its performance benefits even further. Finally, we show that FedQV can be easily combined with Byzantine-robust privacy-preserving mechanisms to enhance its robustness against both poisoning and privacy attacks.
- Abstract(参考訳): フェデレートラーニング(FL)は、それぞれのローカルラベルを開示することなく、異なるパーティが協力してグローバルモデルをトレーニングすることを可能にする。
FLの重要なステップは、地域のモデルを集約してグローバルなモデルを生産することであり、公共の意思決定や選挙と多くの類似点を共有している。
その文脈では、FLの重大な弱点、すなわち、その毒性攻撃に対する脆弱性は、1人の投票者(以下1p1v)原則の結果として、ほとんどの同時代のアグリゲーションルールを支えていると解釈できる。
本稿では,2次投票方式に基づく新しい集計アルゴリズムであるFedQVを提案する。
我々の理論的分析は、FedQVが、その人の真の価値に基づく入札が、最先端の手法に匹敵する収束率を達成する支配的な戦略である、という真理的なメカニズムであることを証明している。
さらに,複数の実世界のデータセットを用いた実証分析により,フェドQVの毒性攻撃に対する優れた性能が検証された。
また、評価スコアに従って、FedQVと不平等な投票「予算」を組み合わせることで、パフォーマンス上のメリットがさらに高くなることも示している。
最後に、FedQVはビザンチン汚染のプライバシー保護機構と簡単に組み合わせて、毒性攻撃とプライバシー攻撃の両方に対する堅牢性を高めることができることを示す。
関連論文リスト
- PFAttack: Stealthy Attack Bypassing Group Fairness in Federated Learning [24.746843739848003]
フェデレーテッド・ラーニング(FL)は、異なる集団に対して偏見のない決定を下すグローバルモデルを、クライアントが共同でトレーニングすることを可能にする。
これまでの研究では、FLシステムは毒殺攻撃のモデルに弱いことが示されている。
本研究では,グローバルモデル精度を低下させるのではなく,公平性メカニズムを回避することを目的としたPFATTACK(Profit-driven Fairness Attack)を提案する。
論文 参考訳(メタデータ) (2024-10-09T03:23:07Z) - Towards Understanding Generalization and Stability Gaps between Centralized and Decentralized Federated Learning [57.35402286842029]
集中学習は常に分散学習(DFL)よりも一般化されていることを示す。
また、FLにおけるいくつかの一般的な設定について実験を行い、我々の理論解析が実験的な現象と一致し、いくつかの一般的なシナリオおよび実践シナリオにおいて文脈的に有効であることを示す。
論文 参考訳(メタデータ) (2023-10-05T11:09:42Z) - FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。
しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。
本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-09T13:18:50Z) - FedLP: Layer-wise Pruning Mechanism for Communication-Computation
Efficient Federated Learning [15.665720478360557]
フェデレートラーニング(FL)は、分散ラーニングのための効率的でプライバシー保護されたスキームとして普及している。
我々は,異なるタイプのディープラーニングモデルに対して,モデルに依存しない,普遍的なFLプルーニングフレームワークであるFedLP(Federated Layer-wise Pruning)を定式化する。
論文 参考訳(メタデータ) (2023-03-11T09:57:00Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - FLIP: A Provable Defense Framework for Backdoor Mitigation in Federated
Learning [66.56240101249803]
我々は,クライアントの強固化がグローバルモデル(および悪意のあるクライアント)に与える影響について検討する。
本稿では, 逆エンジニアリングによる防御手法を提案するとともに, 堅牢性を保証して, 改良を実現できることを示す。
競合する8つのSOTA防御法について, 単発および連続のFLバックドア攻撃に対して, 提案手法の実証的優位性を示した。
論文 参考訳(メタデータ) (2022-10-23T22:24:03Z) - Monotonic Improvement Guarantees under Non-stationarity for
Decentralized PPO [66.5384483339413]
我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。
本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
論文 参考訳(メタデータ) (2022-01-31T20:39:48Z) - Achieving Statistical Optimality of Federated Learning: Beyond
Stationary Points [19.891597817559038]
Federated Learning(FL)は、プライバシ保護とクラウドでの計算負荷の低減に大きな可能性を持つ、有望なフレームワークである。
最近の研究は、(1)その固定点が元の最適化問題の定常点に対応していないこと、(2)見いだされた共通モデルが局所的にうまく一般化できないこと、の2つの方法に対する懸念を提起している。
一般的なカーネル回帰設定では、FedAvgとFedProxの両方が極小最大誤差率に収束することを示す。
論文 参考訳(メタデータ) (2021-06-29T09:59:43Z) - Robust Blockchained Federated Learning with Model Validation and
Proof-of-Stake Inspired Consensus [43.12040317316018]
Federated Learning(FL)は、生のデータを公開することなく、モデルパラメータのみを交換する有望な分散学習ソリューションです。
ブロックチェーンアーキテクチャにおける2つのメカニズムを活用することで、ブロックチェーンベースの分散型FLフレームワークであるVBFLを提案する。
悪意のあるデバイスの15%で、VBFLは87%の精度を達成し、Vanilla FLよりも7.4倍高い。
論文 参考訳(メタデータ) (2021-01-09T06:30:38Z) - FedEval: A Benchmark System with a Comprehensive Evaluation Model for
Federated Learning [17.680627081257246]
本稿では,フェデレートラーニング(FL)システムに対する総合的な評価フレームワークを提案する。
まず、精度、コミュニケーション、時間効率、プライバシ、ロバストネスなど、FL評価において除外できない5つの指標を定義するACTPRモデルを紹介します。
次に、最も広く使われている2つのFLメカニズムであるFedSGDとFedAvgの詳細なベンチマーク調査を行う。
論文 参考訳(メタデータ) (2020-11-19T04:59:51Z) - A Unified Linear Speedup Analysis of Federated Averaging and Nesterov
FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。
本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。
また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文 参考訳(メタデータ) (2020-07-11T05:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。