論文の概要: Federated Multi-Armed Bandits Under Byzantine Attacks

• arxiv url: http://arxiv.org/abs/2205.04134v1
• Date: Mon, 9 May 2022 09:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 16:14:27.058783
• Title: Federated Multi-Armed Bandits Under Byzantine Attacks
• Title（参考訳）: ビザンティン攻撃で武装した複数の武装組織
• Authors: Ilker Demirel, Yigit Yildirim, Cem Tekin
• Abstract要約: 本研究では, 偽モデル更新を送信可能なビザンティンクライアントの存在下で, FMAB問題について検討する。 我々は、ビザンツの顧客に対応するために、中央値平均推定器であるFed-MoM-UCBを提案する。 我々は,アルゴリズムパラメータ間の相互作用,回避不能なエラーマージン,後悔,通信コスト,アームの準最適差を分析した。
• 参考スコア（独自算出の注目度）: 13.170519806372075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-armed bandits (MAB) is a simple reinforcement learning model where the learner controls the trade-off between exploration versus exploitation to maximize its cumulative reward. Federated multi-armed bandits (FMAB) is a recently emerging framework where a cohort of learners with heterogeneous local models play a MAB game and communicate their aggregated feedback to a parameter server to learn the global feedback model. Federated learning models are vulnerable to adversarial attacks such as model-update attacks or data poisoning. In this work, we study an FMAB problem in the presence of Byzantine clients who can send false model updates that pose a threat to the learning process. We borrow tools from robust statistics and propose a median-of-means-based estimator: Fed-MoM-UCB, to cope with the Byzantine clients. We show that if the Byzantine clients constitute at most half the cohort, it is possible to incur a cumulative regret on the order of ${\cal O} (\log T)$ with respect to an unavoidable error margin, including the communication cost between the clients and the parameter server. We analyze the interplay between the algorithm parameters, unavoidable error margin, regret, communication cost, and the arms' suboptimality gaps. We demonstrate Fed-MoM-UCB's effectiveness against the baselines in the presence of Byzantine attacks via experiments.
• Abstract（参考訳）: マルチアームバンディット(mab)は、学習者が探索と搾取の間のトレードオフを制御し、累積報酬を最大化するシンプルな強化学習モデルである。 FMAB(Federated Multi-armed Bandits)は、多種多様なローカルモデルを持つ学習者のコホートがMABゲームをプレイし、パラメータサーバに集約されたフィードバックを伝達し、グローバルなフィードバックモデルを学習するフレームワークである。 連合学習モデルは、モデル更新攻撃やデータ中毒などの敵対的攻撃に対して脆弱である。 本研究では,学習プロセスに脅威をもたらす偽モデル更新を送信できるビザンティンクライアントの存在下でのFMAB問題について検討する。 我々はロバストな統計からツールを借り、ビザンチンのクライアントに対応するために中央値に基づく推定器feed-mom-ucbを提案する。 ビザンチンのクライアントがコホートの半分以上を構成する場合、クライアントとパラメータサーバ間の通信コストを含む、避けられないエラーマージンに対して${\cal O} (\log T)$の累積的後悔を発生させることができることを示す。 我々は,アルゴリズムパラメータ間の相互作用,回避不能なエラーマージン,後悔,通信コスト,アームの準最適差を分析した。 実験により, ビザンチン攻撃の存在下でのベースラインに対するFed-MoM-UCBの有効性を実証した。

関連論文リスト

• FedCAP: Robust Federated Learning via Customized Aggregation and Personalization [13.17735010891312]
  フェデレートラーニング(FL)は、様々なプライバシー保護シナリオに適用されている。 我々はデータ不均一性とビザンチン攻撃に対する堅牢なFLフレームワークであるFedCAPを提案する。 我々は,FedCAPがいくつかの非IID環境において良好に機能し,連続的な毒殺攻撃下で強い堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2024-10-16T23:01:22Z)
• Byzantine-Resilient Decentralized Multi-Armed Bandits [25.499420566469098]
  エージェント間の情報混合ステップを不整合および極端な値の切り離しで融合するアルゴリズムを開発する。 このフレームワークは、コンピュータネットワークの攻撃者をモデル化したり、攻撃的なコンテンツをレコメンデーターシステムに攻撃したり、金融市場のマニピュレータとして利用することができる。
  論文  参考訳（メタデータ） (2023-10-11T09:09:50Z)
• Distributed Consensus Algorithm for Decision-Making in Multi-agent Multi-armed Bandit [7.708904950194129]
  動的環境におけるマルチエージェント・マルチアーム・バンディット(MAMAB)問題について検討する。 グラフはエージェント間の情報共有構造を反映し、腕の報酬分布はいくつかの未知の変化点を持つ断片的に定常である。 目的は、後悔を最小限に抑えるエージェントのための意思決定ポリシーを開発することである。
  論文  参考訳（メタデータ） (2023-06-09T16:10:26Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Achieving the Pareto Frontier of Regret Minimization and Best Arm Identification in Multi-Armed Bandits [91.8283876874947]
  本稿では,BoBW-lil'UCB$(gamma)$アルゴリズムの設計と解析を行う。 i) RMとBAIの両方の目的に対して最適なアルゴリズムを同時に実行できないことを示す。 また、BoBW-lil'UCB$(gamma)$は、時間複雑性と後悔の点で競合よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-16T17:52:32Z)
• Exploiting Heterogeneity in Robust Federated Best-Arm Identification [19.777265059976337]
  Fed-SELは、逐次除去技術に基づく単純な通信効率のアルゴリズムであり、クライアントのローカルサンプリングステップを含む。 異種問題の場合、Fed-SELは1ラウンドの通信でベストアームを出力する。 最後のコントリビューションとして、フェデレーションとピアツーピア設定の両方を対象としてFed-SELの亜種を開発しました。
  論文  参考訳（メタデータ） (2021-09-13T04:22:21Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Softmax with Regularization: Better Value Estimation in Multi-Agent Reinforcement Learning [72.28520951105207]
  q$-learningの過大評価は、シングルエージェント強化学習で広く研究されている重要な問題である。 ベースラインから逸脱する大きな関節動作値をペナライズする,新たな正規化ベースの更新方式を提案する。 本手法は,StarCraft IIマイクロマネジメントの課題に対して,一貫した性能向上を実現する。
  論文  参考訳（メタデータ） (2021-03-22T14:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。