論文の概要: Protecting Sensitive Data through Federated Co-Training
- arxiv url: http://arxiv.org/abs/2310.05696v1
- Date: Mon, 9 Oct 2023 13:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 04:50:27.631201
- Title: Protecting Sensitive Data through Federated Co-Training
- Title(参考訳): フェデレートコトレーニングによる感性データ保護
- Authors: Amr Abourayya and Jens Kleesiek and Kanishka Rao and Erman Ayday and
Bharat Rao and Geoff Webb and Michael Kamp
- Abstract要約: 我々は、公開されていないデータセットのローカルなハードラベルを共有し、コンセンサスラベルに集約する、フェデレーション付き協調学習の形式を提案する。
このコンセンサスラベルは、教師付き機械学習モデルによるローカルトレーニングに使用することができる。
本手法は,フェデレート学習と分散蒸留の双方に匹敵するモデル品質を達成できることを示す。
- 参考スコア(独自算出の注目度): 11.522205457884711
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many critical applications, sensitive data is inherently distributed.
Federated learning trains a model collaboratively by aggregating the parameters
of locally trained models. This avoids exposing sensitive local data. It is
possible, though, to infer upon the sensitive data from the shared model
parameters. At the same time, many types of machine learning models do not lend
themselves to parameter aggregation, such as decision trees, or rule ensembles.
It has been observed that in many applications, in particular healthcare, large
unlabeled datasets are publicly available. They can be used to exchange
information between clients by distributed distillation, i.e., co-regularizing
local training via the discrepancy between the soft predictions of each local
client on the unlabeled dataset. This, however, still discloses private
information and restricts the types of models to those trainable via
gradient-based methods. We propose to go one step further and use a form of
federated co-training, where local hard labels on the public unlabeled datasets
are shared and aggregated into a consensus label. This consensus label can be
used for local training by any supervised machine learning model. We show that
this federated co-training approach achieves a model quality comparable to both
federated learning and distributed distillation on a set of benchmark datasets
and real-world medical datasets. It improves privacy over both approaches,
protecting against common membership inference attacks to the highest degree.
Furthermore, we show that federated co-training can collaboratively train
interpretable models, such as decision trees and rule ensembles, achieving a
model quality comparable to centralized training.
- Abstract(参考訳): 多くの重要なアプリケーションでは、センシティブなデータは本質的に分散している。
フェデレーション学習は、局所的に訓練されたモデルのパラメータを集約することで、協力的にモデルを訓練する。
これにより、センシティブなローカルデータの露出が回避される。
しかし、共有モデルのパラメータからセンシティブなデータを推測することは可能である。
同時に、多くのタイプの機械学習モデルは、決定木や規則アンサンブルのようなパラメータアグリゲーションには役に立たない。
多くのアプリケーション、特にヘルスケアにおいて、大きなラベルのないデータセットが公開されていることが観察されている。
分散蒸留(英語版)によりクライアント間の情報交換、すなわち、ラベルなしデータセット上の各ローカルクライアントのソフトな予測との相違によるローカルトレーニングの共規則化に使用できる。
しかし、これは依然としてプライベート情報を開示し、モデルの種類を勾配ベースの手法でトレーニングできるものに制限する。
我々はさらに一歩進めて、公開されていないデータセットのローカルなハードラベルを共有し、コンセンサスラベルに集約するフェデレーション付きコトレーニングの形式を採用することを提案する。
このコンセンサスラベルは、教師付き機械学習モデルによるローカルトレーニングに使用することができる。
この連関共同学習アプローチは,ベンチマークデータセットと実世界の医療データセットのセット上で,連帯学習と分散蒸留に匹敵するモデル品質を実現していることを示す。
どちらのアプローチよりもプライバシーが向上し、共通のメンバーシップ推論攻撃から高いレベルまで保護される。
さらに,協調学習は,決定木や規則アンサンブルといった解釈可能なモデルを協調的に学習し,集中型トレーニングに匹敵するモデル品質を達成することができることを示した。
関連論文リスト
- Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-24T02:22:50Z) - Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data [9.984630251008868]
この研究は、フェデレートラーニングにおける非IIDデータとストラグラー/ドロップアウトの課題に焦点を当てる。
クライアントのローカルデータの一部を非プライベートとしてモデル化する、プライバシフレキシブルなパラダイムを導入し、検討する。
論文 参考訳(メタデータ) (2024-04-04T15:29:50Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳(メタデータ) (2023-11-14T14:37:33Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - Client-specific Property Inference against Secure Aggregation in
Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。
多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。
単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文 参考訳(メタデータ) (2023-03-07T14:11:01Z) - FedIL: Federated Incremental Learning from Decentralized Unlabeled Data
with Convergence Analysis [23.70951896315126]
この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。
本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
論文 参考訳(メタデータ) (2023-02-23T07:12:12Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-11-20T10:49:22Z) - Federated Learning from Only Unlabeled Data with
Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。
本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文 参考訳(メタデータ) (2022-04-07T09:12:00Z) - Federated Semi-Supervised Learning with Inter-Client Consistency &
Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。
フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2020-06-22T09:43:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。