論文の概要: Federated Split BERT for Heterogeneous Text Classification
- arxiv url: http://arxiv.org/abs/2205.13299v1
- Date: Thu, 26 May 2022 12:21:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-27 12:41:12.560053
- Title: Federated Split BERT for Heterogeneous Text Classification
- Title(参考訳): 不均一テキスト分類のためのFederated Split BERT
- Authors: Zhengyang Li, Shijing Si, Jianzong Wang and Jing Xiao
- Abstract要約: 異種データを処理し,BERTエンコーダ層を局所部分とグローバル部分に分割することで通信コストを削減するフレームワークであるFedSplitBERTを提案する。
私たちのフレームワークは、FedAvg、FedProx、FedAdamなど、既存のフェデレーション学習アルゴリズムと互換性があります。
- 参考スコア(独自算出の注目度): 25.388324221293203
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained BERT models have achieved impressive performance in many natural
language processing (NLP) tasks. However, in many real-world situations,
textual data are usually decentralized over many clients and unable to be
uploaded to a central server due to privacy protection and regulations.
Federated learning (FL) enables multiple clients collaboratively to train a
global model while keeping the local data privacy. A few researches have
investigated BERT in federated learning setting, but the problem of performance
loss caused by heterogeneous (e.g., non-IID) data over clients remain
under-explored. To address this issue, we propose a framework, FedSplitBERT,
which handles heterogeneous data and decreases the communication cost by
splitting the BERT encoder layers into local part and global part. The local
part parameters are trained by the local client only while the global part
parameters are trained by aggregating gradients of multiple clients. Due to the
sheer size of BERT, we explore a quantization method to further reduce the
communication cost with minimal performance loss. Our framework is ready-to-use
and compatible to many existing federated learning algorithms, including
FedAvg, FedProx and FedAdam. Our experiments verify the effectiveness of the
proposed framework, which outperforms baseline methods by a significant margin,
while FedSplitBERT with quantization can reduce the communication cost by
$11.9\times$.
- Abstract(参考訳): トレーニング済みのBERTモデルは、多くの自然言語処理(NLP)タスクにおいて、優れたパフォーマンスを実現している。
しかし、現実の多くの状況では、テキストデータはたいてい多くのクライアントで分散化され、プライバシー保護と規制のために中央サーバーにアップロードできない。
フェデレーション学習(fl)は、複数のクライアントが協力して、ローカルデータプライバシを維持しながらグローバルモデルをトレーニングできるようにする。
統合学習環境におけるBERTの研究はいくつかあるが、クライアント上の異種データ(例えば非IID)による性能損失の問題は未解明のままである。
この問題を解決するために,異種データを処理し,BERTエンコーダ層をローカル部分とグローバル部分に分割することで通信コストを削減できるFedSplitBERTというフレームワークを提案する。
ローカル部分パラメータはローカルクライアントによってトレーニングされるが、グローバル部分パラメータは複数のクライアントの集約勾配によってトレーニングされる。
BERTの規模が大きいため,性能損失を最小限に抑えて通信コストをさらに削減するための量子化法を検討する。
私たちのフレームワークは、FedAvg、FedProx、FedAdamなど、既存のフェデレーション学習アルゴリズムと互換性があります。
提案手法の有効性を検証した結果,FedSplitBERTを量子化することで通信コストを111.9\times$に削減できることがわかった。
関連論文リスト
- FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation [15.98209321182056]
Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
論文 参考訳(メタデータ) (2023-12-04T20:24:09Z) - FedLPA: Personalized One-shot Federated Learning with Layer-Wise
Posterior Aggregation [7.406222956685339]
ローカルクライアントからグローバルモデルへのトレーニングされたニューラルネットワークのワンショットアグリゲーションは、研究者の間で人気を集めている。
我々はFedLPAという名前のレイヤーワイズ後アグリゲーションを用いたワンショットアグリゲーション手法を提案する。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-09-30T10:51:27Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling
and Correction [48.85303253333453]
フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。
局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。
私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。
実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
論文 参考訳(メタデータ) (2022-03-22T14:06:26Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳(メタデータ) (2022-01-25T04:43:29Z) - Scotch: An Efficient Secure Computation Framework for Secure Aggregation [0.0]
フェデレーション学習は、複数のデータ所有者がプライベートデータセットを公開せずに、機械学習モデルを共同でトレーニングすることを可能にする。
悪意のある集約サーバは、モデルパラメータを使用して、使用したトレーニングデータセットに関する機密情報を導き出すことができる。
フェデレーションアグリゲーションのための分散化テキストitm-partyセキュア計算フレームワークであるtextscScotch を提案する。
論文 参考訳(メタデータ) (2022-01-19T17:16:35Z) - PPSGCN: A Privacy-Preserving Subgraph Sampling Based Distributed GCN
Training Method [28.829761038950707]
グラフ畳み込みネットワーク(GCN)はグラフ表現学習に広く採用されており、優れた性能を実現している。
既存のメソッドは、ノード機能を異なるクライアント間で直接交換する。
本稿では,プライバシ保護サブグラフサンプリングに基づく分散GCNトレーニング手法(PPSGCN)を提案する。
論文 参考訳(メタデータ) (2021-10-22T08:22:36Z) - Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。
分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。
本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文 参考訳(メタデータ) (2021-08-17T17:53:05Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。