論文の概要: A Secure Aggregation for Federated Learning on Long-Tailed Data
- arxiv url: http://arxiv.org/abs/2307.08324v1
- Date: Mon, 17 Jul 2023 08:42:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 14:15:33.801713
- Title: A Secure Aggregation for Federated Learning on Long-Tailed Data
- Title(参考訳): 長期データに基づくフェデレーション学習のためのセキュアな集約
- Authors: Yanna Jiang, Baihe Ma, Xu Wang, Guangsheng Yu, Caijun Sun, Wei Ni, Ren
Ping Liu
- Abstract要約: フェデレートラーニング(FL)は、参加者間のトレーニングデータの非バランス分布と、ビザンティンノードによるモデルアタックの2つの課題に直面している。
悪意あるモデルの拒絶と重要なモデルの必然的選択のために,新しい2層アグリゲーション法を提案する。
予備実験は、シンクタンクがグローバルアグリゲーションに有効なモデル選択をすることができることを検証した。
- 参考スコア(独自算出の注目度): 26.168909973264707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a distributed learning, Federated Learning (FL) faces two challenges: the
unbalanced distribution of training data among participants, and the model
attack by Byzantine nodes. In this paper, we consider the long-tailed
distribution with the presence of Byzantine nodes in the FL scenario. A novel
two-layer aggregation method is proposed for the rejection of malicious models
and the advisable selection of valuable models containing tail class data
information. We introduce the concept of think tank to leverage the wisdom of
all participants. Preliminary experiments validate that the think tank can make
effective model selections for global aggregation.
- Abstract(参考訳): 分散学習として、フェデレートラーニング(FL)は、参加者間のトレーニングデータの非バランス分布と、ビザンティンノードによるモデルアタックの2つの課題に直面している。
本稿では,flシナリオにおけるビザンチンノードの存在下でのロングテール分布について考察する。
悪質なモデルの拒絶と、テールクラスデータ情報を含む有意義なモデルの選択のために、新しい2層アグリゲーション法を提案する。
我々は,すべての参加者の知恵を活かすため,シンクタンクの概念を導入する。
予備実験は、シンクタンクがグローバルアグリゲーションに有効なモデル選択をすることができることを検証した。
関連論文リスト
- Decoupled Federated Learning on Long-Tailed and Non-IID data with
Feature Statistics [20.781607752797445]
特徴統計量(DFL-FS)を用いた2段階分離型フェデレーション学習フレームワークを提案する。
最初の段階では、サーバは、マスキングされたローカル特徴統計クラスタリングによってクライアントのクラスカバレッジ分布を推定する。
第2段階では、DFL-FSは、グローバルな特徴統計に基づくフェデレーションされた特徴再生を使用して、長い尾を持つデータ分布へのモデルの適応性を高める。
論文 参考訳(メタデータ) (2024-03-13T09:24:59Z) - Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。
我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。
4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
論文 参考訳(メタデータ) (2024-02-22T10:19:34Z) - Twice Class Bias Correction for Imbalanced Semi-Supervised Learning [59.90429949214134]
textbfTwice textbfClass textbfBias textbfCorrection (textbfTCBC) と呼ばれる新しいアプローチを導入する。
トレーニング過程におけるモデルパラメータのクラスバイアスを推定する。
非ラベル標本に対してモデルの擬似ラベルに二次補正を適用する。
論文 参考訳(メタデータ) (2023-12-27T15:06:36Z) - Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:44:52Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳(メタデータ) (2023-08-10T08:43:20Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳(メタデータ) (2023-01-25T03:18:10Z) - FEDIC: Federated Learning on Non-IID and Long-Tailed Data via Calibrated
Distillation [54.2658887073461]
非IIDデータの処理は、フェデレーション学習における最も難しい問題の1つである。
本稿では, フェデレート学習における非IIDデータとロングテールデータの結合問題について検討し, フェデレート・アンサンブル蒸留と不均衡(FEDIC)という対応ソリューションを提案する。
FEDICはモデルアンサンブルを使用して、非IIDデータでトレーニングされたモデルの多様性を活用する。
論文 参考訳(メタデータ) (2022-04-30T06:17:36Z) - FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。
我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。
パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文 参考訳(メタデータ) (2021-01-27T10:10:18Z) - Mitigating Bias in Federated Learning [9.295028968787351]
本稿では,フェデレートラーニング(FL)におけるバイアスの原因について議論する。
データプライバシを損なうことなく、バイアスを軽減するために、前処理と内処理の3つの方法を提案する。
我々は、モデル性能、公平度メトリクス、バイアス学習パターンに対する影響を分析するために、複数のデータ分布に対して実験を行う。
論文 参考訳(メタデータ) (2020-12-04T08:04:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。