論文の概要: Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments

• arxiv url: http://arxiv.org/abs/2110.11006v1
• Date: Thu, 21 Oct 2021 09:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-23 04:56:09.559832
• Title: Bristle: Decentralized Federated Learning in Byzantine, Non-i.i.d. Environments
• Title（参考訳）: Bristle: ビザンティンの非工業環境における分散フェデレーション学習
• Authors: Joost Verbraeken, Martijn de Vos, Johan Pouwelse
• Abstract要約: Federated Learning(FL)は、プライバシフレンドリーな機械学習の一種で、デバイスが自身のプライベートデータ上でモデルをローカルにトレーニングし、通常、モデル更新をサーバと通信する。 分散FL(DFL)では、ピアが互いにモデル更新を通信する。 本稿では、学習アプリケーションと分散ネットワーク層の間のブリッスルについて述べる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) is a privacy-friendly type of machine learning where devices locally train a model on their private data and typically communicate model updates with a server. In decentralized FL (DFL), peers communicate model updates with each other instead. However, DFL is challenging since (1) the training data possessed by different peers is often non-i.i.d. (i.e., distributed differently between the peers) and (2) malicious, or Byzantine, attackers can share arbitrary model updates with other peers to subvert the training process. We address these two challenges and present Bristle, middleware between the learning application and the decentralized network layer. Bristle leverages transfer learning to predetermine and freeze the non-output layers of a neural network, significantly speeding up model training and lowering communication costs. To securely update the output layer with model updates from other peers, we design a fast distance-based prioritizer and a novel performance-based integrator. Their combined effect results in high resilience to Byzantine attackers and the ability to handle non-i.i.d. classes. We empirically show that Bristle converges to a consistent 95% accuracy in Byzantine environments, outperforming all evaluated baselines. In non-Byzantine environments, Bristle requires 83% fewer iterations to achieve 90% accuracy compared to state-of-the-art methods. We show that when the training classes are non-i.i.d., Bristle significantly outperforms the accuracy of the most Byzantine-resilient baselines by 2.3x while reducing communication costs by 90%.
• Abstract（参考訳）: Federated Learning(FL)は、プライバシフレンドリーな機械学習の一種で、デバイスが自身のプライベートデータ上でモデルをローカルにトレーニングし、通常、モデル更新をサーバと通信する。 分散FL(DFL)では、ピアが互いにモデル更新を通信する。 しかし、(1)異なるピアが保持するトレーニングデータは、しばしば非i.d.(つまり、ピア間で異なる分散)であり、(2)悪意のある、またはByzantineは、攻撃者が他のピアと任意のモデル更新を共有してトレーニングプロセスを覆すことができるため、DFLは難しい。 我々はこの2つの課題に対処し,学習アプリケーションと分散ネットワーク層の間のミドルウェアであるbristleを提示する。 bristleはトランスファー・ラーニングを利用してニューラルネットワークの非出力層をあらかじめ凍結し、モデルのトレーニングを大幅にスピードアップし、通信コストを下げる。 出力層を他のピアからのモデル更新で確実に更新するために、高速距離優先器と新しいパフォーマンスベース積分器を設計する。 これらの組み合わせの効果により、ビザンツ人攻撃者に対する高い弾力性と、非i.d.クラスを扱う能力をもたらす。 実験の結果,ブリストルはビザンチン環境では95%の精度で収束し,評価基準を上回った。 非ビザンチン環境では、ブリストルは最先端の手法に比べて90%の精度を達成するために83%のイテレーションを必要とする。 トレーニングクラスが非i.i.d.の場合、bristleは最もビザンチン耐性のベースラインの精度を2.3倍に上回り、通信コストを90%削減した。

関連論文リスト

• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• ResFed: Communication Efficient Federated Learning by Transmitting Deep Compressed Residuals [24.13593410107805]
  フェデレートラーニングは、学習したローカルモデルパラメータを共有することで、大規模分散クライアント間の協調トレーニングを可能にする。 モデルパラメータではなく残差を訓練用ネットワークに送信する残差ベースフェデレーション学習フレームワーク(ResFed)を導入する。 共通予測ルールを用いることで、ローカルモデルとグローバルモデルの両方が、常にクライアントとサーバで完全に回復可能である。
  論文  参考訳（メタデータ） (2022-12-11T20:34:52Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Certified Robustness in Federated Learning [54.03574895808258]
  我々は,フェデレーショントレーニングとパーソナライゼーション,および認定ロバストネスの相互作用について検討した。 単純なフェデレーション平均化技術は, より正確であるだけでなく, より精度の高いロバストモデルの構築にも有効であることがわかった。
  論文  参考訳（メタデータ） (2022-06-06T12:10:53Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Homogeneous Learning: Self-Attention Decentralized Deep Learning [0.6091702876917281]
  本研究では,非IIDデータに自己認識機構を持たせるために,HL(Homogeneous Learning)と呼ばれる分散学習モデルを提案する。 HLはスタンドアローンの学習と比較してパフォーマンスが向上し、トレーニングラウンド全体の50.8%、通信コスト74.6%を大幅に削減できる。
  論文  参考訳（メタデータ） (2021-10-11T14:05:29Z)
• FedKD: Communication Efficient Federated Learning via Knowledge Distillation [56.886414139084216]
  フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。 フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。 本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:39:54Z)
• Secure Distributed Training at Scale [65.7538150168154]
  ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。 本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
  論文  参考訳（メタデータ） (2021-06-21T17:00:42Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
  分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。 現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
  論文  参考訳（メタデータ） (2020-12-24T01:43:53Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。