論文の概要: Generalization Error Matters in Decentralized Learning Under Byzantine Attacks
- arxiv url: http://arxiv.org/abs/2407.08632v1
- Date: Thu, 11 Jul 2024 16:12:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 16:40:31.963403
- Title: Generalization Error Matters in Decentralized Learning Under Byzantine Attacks
- Title（参考訳）: ビザンチン攻撃による分散学習における一般化エラー
- Authors: Haoxiang Ye, Qing Ling,
- Abstract要約: 分散学習は、ピアツーピア信号および情報処理パラダイムとして人気を博している。
本稿では,Byzantine-Resilient decentralized gradient (DSGD)アルゴリズムの一般化誤差を初めて解析する。
- 参考スコア（独自算出の注目度）: 22.589653582068117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, decentralized learning has emerged as a popular peer-to-peer signal and information processing paradigm that enables model training across geographically distributed agents in a scalable manner, without the presence of any central server. When some of the agents are malicious (also termed as Byzantine), resilient decentralized learning algorithms are able to limit the impact of these Byzantine agents without knowing their number and identities, and have guaranteed optimization errors. However, analysis of the generalization errors, which are critical to implementations of the trained models, is still lacking. In this paper, we provide the first analysis of the generalization errors for a class of popular Byzantine-resilient decentralized stochastic gradient descent (DSGD) algorithms. Our theoretical results reveal that the generalization errors cannot be entirely eliminated because of the presence of the Byzantine agents, even if the number of training samples are infinitely large. Numerical experiments are conducted to confirm our theoretical results.
- Abstract（参考訳）: 近年,分散学習がピアツーピア信号や情報処理のパラダイムとして登場し,地理的に分散したエージェント間のモデルトレーニングを,中央サーバを使わずにスケーラブルに実現している。
エージェントのいくつかが悪意のある(ビザンティンとも呼ばれる)場合、回復力のある分散学習アルゴリズムは、それらのエージェントの個数やアイデンティティを知らずに影響を制限することができ、最適化エラーを保証できる。
しかし、訓練されたモデルの実装に欠かせない一般化誤差の解析はいまだに不十分である。
本稿では,Byzantine-Resilient decentralized stochastic gradient descent (DSGD)アルゴリズムの一般化誤差を初めて解析する。
我々の理論的結果は、訓練サンプルの数が無限大であっても、ビザンチン剤の存在のため、一般化誤差を完全に排除することはできないことを示している。
理論的結果を確認するため, 数値実験を行った。
関連論文リスト
- Stability and Generalization of the Decentralized Stochastic Gradient
Descent Ascent Algorithm [80.94861441583275]
本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。
本研究は,D-SGDAの一般化における各因子の影響を解析した。
また、最適凸凹設定を得るために一般化とバランスをとる。
論文 参考訳（メタデータ） (2023-10-31T11:27:01Z) - Anonymous Learning via Look-Alike Clustering: A Precise Analysis of
Model Generalization [18.03833857491361]
プライバシーを強化するための一般的なアプローチは、個々のデータではなく匿名データを使用してモデルをトレーニングすることである。
匿名クラスタセンターを用いたトレーニングモデルが一般化能力に与える影響について分析する。
ある種の高次元状態において、匿名クラスタセンターでのトレーニングは正規化として機能し、訓練されたモデルの一般化誤差を改善する。
論文 参考訳（メタデータ） (2023-10-06T04:52:46Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - GAN based Data Augmentation to Resolve Class Imbalance [0.0]
多くの関連するタスクにおいて、データセットは非常に少数の不正事件が観察される。
この不均衡の存在は、すべてのラベルを大多数のクラスとして予測することで、学習モデルの振舞いに影響を与える可能性がある。
我々はGAN(Generative Adversarial Network)を訓練し、少数民族の説得力のある(かつ信頼性の高い)合成例を多数生成した。
論文 参考訳（メタデータ） (2022-06-12T21:21:55Z) - Secure Distributed Training at Scale [65.7538150168154]
ピアの存在下でのトレーニングには、ビザンティン寛容な特殊な分散トレーニングアルゴリズムが必要である。
本稿では,コミュニケーション効率を重視したセキュアな(ビザンチン耐性)分散トレーニングのための新しいプロトコルを提案する。
論文 参考訳（メタデータ） (2021-06-21T17:00:42Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - Statistical and Algorithmic Insights for Semi-supervised Learning with
Self-training [30.866440916522826]
自己学習は、半教師あり学習における古典的なアプローチである。
自己学習の繰り返しは、たとえ最適でない固定点に留まったとしても、モデル精度を良好に向上することを示す。
次に、自己学習に基づく半スーパービジョンと、異種データによる学習のより一般的な問題との関連性を確立する。
論文 参考訳（メタデータ） (2020-06-19T08:09:07Z) - Byzantine-resilient Decentralized Stochastic Gradient Descent [85.15773446094576]
分散学習システムのビザンチンレジリエンスに関する詳細な研究について述べる。
ビザンチンフォールトトレランスを用いた分散学習を支援する新しいアルゴリズムUBARを提案する。
論文 参考訳（メタデータ） (2020-02-20T05:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。