論文の概要: Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning

• arxiv url: http://arxiv.org/abs/2307.14952v1
• Date: Thu, 27 Jul 2023 15:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 14:01:53.955286
• Title: Network Fault-tolerant and Byzantine-resilient Social Learning via Collaborative Hierarchical Non-Bayesian Learning
• Title（参考訳）: 階層的非ベイジアン学習によるネットワークフォールトトレラントとビザンチンレジリエントな社会学習
• Authors: Connor Mclaughlin, Matthew Ding, Denis Edogmus, Lili Su
• Abstract要約: 通信障害や敵攻撃に弱いネットワーク上での非ベイズ学習の問題に対処する。 まず,パケットドロップリンクの頻繁な障害に拘わらず,平均コンセンサスを達成できる階層的頑健なプッシュサムアルゴリズムを提案する。 次に,パケットドロップによるフォールトトレラントな非ベイズ学習アルゴリズムを提案し,コンバージェンス保証を実現する。
• 参考スコア（独自算出の注目度）: 2.236663830879273
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As the network scale increases, existing fully distributed solutions start to lag behind the real-world challenges such as (1) slow information propagation, (2) network communication failures, and (3) external adversarial attacks. In this paper, we focus on hierarchical system architecture and address the problem of non-Bayesian learning over networks that are vulnerable to communication failures and adversarial attacks. On network communication, we consider packet-dropping link failures. We first propose a hierarchical robust push-sum algorithm that can achieve average consensus despite frequent packet-dropping link failures. We provide a sparse information fusion rule between the parameter server and arbitrarily selected network representatives. Then, interleaving the consensus update step with a dual averaging update with Kullback-Leibler (KL) divergence as the proximal function, we obtain a packet-dropping fault-tolerant non-Bayesian learning algorithm with provable convergence guarantees. On external adversarial attacks, we consider Byzantine attacks in which the compromised agents can send maliciously calibrated messages to others (including both the agents and the parameter server). To avoid the curse of dimensionality of Byzantine consensus, we solve the non-Bayesian learning problem via running multiple dynamics, each of which only involves Byzantine consensus with scalar inputs. To facilitate resilient information propagation across sub-networks, we use a novel Byzantine-resilient gossiping-type rule at the parameter server.
• Abstract（参考訳）: ネットワーク規模が拡大するにつれて、既存の完全分散ソリューションは、(1)遅い情報伝達、(2)ネットワーク通信障害、(3)外部敵攻撃といった現実世界の課題に遅れ始めています。 本稿では,階層型システムアーキテクチャに注目し,通信障害や敵攻撃に対して脆弱なネットワーク上の非ベイズ学習の問題に対処する。 ネットワーク通信ではパケットドロップのリンク障害を考慮した。 まず,パケットドロップリンクの頻繁な障害に拘わらず,平均コンセンサスを達成できる階層的頑健なプッシュサムアルゴリズムを提案する。 パラメータサーバと任意に選択されたネットワーク代表との間にスパース情報融合ルールを提供する。 次に、kullback-leibler(kl)の発散を近位関数とする2つの平均化更新でコンセンサス更新ステップをインターリーブし、証明可能な収束保証を有するパケット投下フォールトトレラント非ベイズ学習アルゴリズムを得る。 外部の敵攻撃では、侵入されたエージェントが悪意ある校正されたメッセージを他のエージェント(エージェントとパラメータサーバの両方を含む)に送信できるビザンチン攻撃を考える。 ビザンツのコンセンサスの次元性の呪いを避けるため、複数のダイナミクスを実行することで非バイエルン学習問題を解き、それぞれがスカラー入力を伴うビザンツのコンセンサスのみを含む。 サブネットワーク間のレジリエント情報伝達を容易にするため,パラメータサーバでは,新たなビザンチンレジリエントゴシピング型ルールを用いる。

関連論文リスト

• Byzantine-Robust and Communication-Efficient Distributed Learning via Compressed Momentum Filtering [17.446431849022346]
  分散学習は、プライベートデータサイロにわたる大規模機械学習モデルをトレーニングするための標準アプローチとなっている。 堅牢性とコミュニケーションの保存に関する重要な課題に直面している。 本稿では,ビザンチン・ロバスト・コミュニケーション効率の高い分散学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T08:53:10Z)
• Genetic Algorithm-Based Dynamic Backdoor Attack on Federated Learning-Based Network Traffic Classification [1.1887808102491482]
  本稿では,GABAttackを提案する。GABAttackは,ネットワークトラフィック分類のためのフェデレーション学習に対する新しい遺伝的アルゴリズムに基づくバックドア攻撃である。 この研究は、ネットワークセキュリティの専門家や実践者がこのような攻撃に対して堅牢な防御策を開発するための警告となる。
  論文  参考訳（メタデータ） (2023-09-27T14:02:02Z)
• Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
  本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。 エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。 我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
  論文  参考訳（メタデータ） (2022-06-01T00:44:53Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Federated Learning via Plurality Vote [38.778944321534084]
  フェデレートされた学習は、データプライバシを保持しながら、共同作業者が機械学習の問題を解決することを可能にする。 最近の研究は、連合学習における様々な課題に取り組んできた。 複数の投票によるフェデレーション学習(FedVote)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-06T18:16:22Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Learning from History for Byzantine Robust Optimization [52.68913869776858]
  分散学習の重要性から,ビザンチンの堅牢性が近年注目されている。 既存のロバストアグリゲーションルールの多くは、ビザンチンの攻撃者がいなくても収束しない可能性がある。
  論文  参考訳（メタデータ） (2020-12-18T16:22:32Z)
• Attentive WaveBlock: Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-identification and Beyond [97.25179345878443]
  本稿では,新しい軽量モジュールであるAttentive WaveBlock (AWB)を提案する。 AWBは相互学習の二重ネットワークに統合され、相互学習の相補性を高め、擬似ラベルのノイズをさらに抑えることができる。 実験により, 提案手法は, 複数のUDA人物再識別タスクを大幅に改善し, 最先端の性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T15:40:40Z)
• Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
  分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。 ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
  論文  参考訳（メタデータ） (2020-02-20T05:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。