論文の概要: BOBA: Byzantine-Robust Federated Learning with Label Skewness
- arxiv url: http://arxiv.org/abs/2208.12932v2
- Date: Wed, 20 Mar 2024 02:11:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 23:26:53.506749
- Title: BOBA: Byzantine-Robust Federated Learning with Label Skewness
- Title(参考訳): BOBA:ラベルスキューネスによるビザンチン・ロバスト・フェデレーションラーニング
- Authors: Wenxuan Bao, Jun Wu, Jingrui He,
- Abstract要約: 連合学習において、既存のロバストアグリゲーションルール(AGR)は、IID設定でビザンツ攻撃と戦う。
ラベルスキューネス(ラベルスキューネス)は、より現実的で挑戦的な非IID設定であり、各クライアントはいくつかのデータクラスにしかアクセスできない。
この設定では、最先端のAGRは選択バイアスに悩まされ、特定のクラスのパフォーマンスが大幅に低下する。
これらの制約に対処するために,BOBAという2段階の効率的な手法を提案する。
- 参考スコア(独自算出の注目度): 39.75185862573534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning, most existing robust aggregation rules (AGRs) combat Byzantine attacks in the IID setting, where client data is assumed to be independent and identically distributed. In this paper, we address label skewness, a more realistic and challenging non-IID setting, where each client only has access to a few classes of data. In this setting, state-of-the-art AGRs suffer from selection bias, leading to significant performance drop for particular classes; they are also more vulnerable to Byzantine attacks due to the increased variation among gradients of honest clients. To address these limitations, we propose an efficient two-stage method named BOBA. Theoretically, we prove the convergence of BOBA with an error of the optimal order. Our empirical evaluations demonstrate BOBA's superior unbiasedness and robustness across diverse models and datasets when compared to various baselines. Our code is available at https://github.com/baowenxuan/BOBA .
- Abstract(参考訳): 連合学習において、既存のロバストアグリゲーションルール(AGR)は、クライアントデータが独立して同一に分散されていると仮定されるIDD設定でビザンチン攻撃と戦う。
本稿では,より現実的で難易度の高い非IIDセッティングであるラベルスキューネスについて述べる。
この設定では、最先端のAGRは選択バイアスに悩まされ、特定のクラスのパフォーマンスが大幅に低下する。
これらの制約に対処するため,BOBAという2段階の効率的な手法を提案する。
理論的には、BOBAの収束を最適順序の誤差で証明する。
我々の経験的評価は、BOBAが様々なベースラインと比較して、多様なモデルやデータセットにまたがる優れた不偏性や堅牢性を示している。
私たちのコードはhttps://github.com/baowenxuan/BOBAで利用可能です。
関連論文リスト
- Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-24T02:22:50Z) - Federated Causal Discovery from Heterogeneous Data [70.31070224690399]
任意の因果モデルと異種データに対応する新しいFCD法を提案する。
これらのアプローチには、データのプライバシを保護するために、生データのプロキシとして要約統計を構築することが含まれる。
提案手法の有効性を示すために, 合成および実データを用いた広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-02-20T18:53:53Z) - JointMatch: A Unified Approach for Diverse and Collaborative
Pseudo-Labeling to Semi-Supervised Text Classification [65.268245109828]
半教師付きテキスト分類(SSTC)は、ラベルのないデータを活用する能力によって注目を集めている。
擬似ラベルに基づく既存のアプローチは、擬似ラベルバイアスと誤り蓄積の問題に悩まされる。
我々は、最近の半教師付き学習からアイデアを統一することでこれらの課題に対処する、SSTCの総合的なアプローチであるJointMatchを提案する。
論文 参考訳(メタデータ) (2023-10-23T05:43:35Z) - Mitigating Group Bias in Federated Learning for Heterogeneous Devices [1.2903829793534267]
フェデレートラーニング(Federated Learning)は、分散エッジアプリケーションにおけるプライバシ保護モデルトレーニングアプローチとして登場している。
本研究は,プライバシを維持しながら,資源利用のオーバーヘッドを伴わずにグループバイアスを最小限に抑えるグループフェアFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-13T16:53:48Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳(メタデータ) (2022-12-03T03:27:51Z) - Suppressing Poisoning Attacks on Federated Learning for Medical Imaging [4.433842217026879]
本稿では, ビザンチン障害に対する耐性を有する分散型外乱抑制法(DOS)を提案する。
提案手法は,異なるクライアントのローカルパラメータ更新間の距離を計算し,各クライアントに対してアウトラヤスコアを求める。
得られたアウトリーチスコアはソフトマックス関数を用いて正規化重みに変換され、局所パラメータの重み付け平均がグローバルモデル更新に使用される。
論文 参考訳(メタデータ) (2022-07-15T00:43:34Z) - ActiveEA: Active Learning for Neural Entity Alignment [31.212894129845093]
エンティティアライメント(EA)は、異なる知識グラフ(KG)間で同等のエンティティをマッチングすることを目的としている。
現在の主流の手法であるニューラルEAモデルは、シードアライメントによるトレーニング、すなわち、事前整合したエンティティペアのセットに依存しています。
我々は、神経EAのための新しいアクティブラーニング(AL)フレームワークを考案し、非常に有意義なシードアライメントを作ることを目指している。
論文 参考訳(メタデータ) (2021-10-13T03:38:04Z) - Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。
入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。
分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
論文 参考訳(メタデータ) (2021-06-14T05:39:09Z) - Training image classifiers using Semi-Weak Label Data [26.04162590798731]
多重インスタンス学習(MIL)では、弱ラベルがバッグレベルで提供され、存在/存在情報のみが知られる。
本稿では,この問題を軽減するため,新たな半弱ラベル学習パラダイムを提案する。
半弱ラベルから学習する問題に対処する2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-19T03:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。