Fugu-MT 論文翻訳(概要): Protecting Sensitive Data through Federated Co-Training

論文の概要: Protecting Sensitive Data through Federated Co-Training

arxiv url: http://arxiv.org/abs/2310.05696v1
Date: Mon, 9 Oct 2023 13:16:10 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 04:50:27.631201
Title: Protecting Sensitive Data through Federated Co-Training
Title（参考訳）: フェデレートコトレーニングによる感性データ保護
Authors: Amr Abourayya and Jens Kleesiek and Kanishka Rao and Erman Ayday and Bharat Rao and Geoff Webb and Michael Kamp
Abstract要約: 我々は、公開されていないデータセットのローカルなハードラベルを共有し、コンセンサスラベルに集約する、フェデレーション付き協調学習の形式を提案する。このコンセンサスラベルは、教師付き機械学習モデルによるローカルトレーニングに使用することができる。本手法は,フェデレート学習と分散蒸留の双方に匹敵するモデル品質を達成できることを示す。
参考スコア（独自算出の注目度）: 11.522205457884711
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In many critical applications, sensitive data is inherently distributed. Federated learning trains a model collaboratively by aggregating the parameters of locally trained models. This avoids exposing sensitive local data. It is possible, though, to infer upon the sensitive data from the shared model parameters. At the same time, many types of machine learning models do not lend themselves to parameter aggregation, such as decision trees, or rule ensembles. It has been observed that in many applications, in particular healthcare, large unlabeled datasets are publicly available. They can be used to exchange information between clients by distributed distillation, i.e., co-regularizing local training via the discrepancy between the soft predictions of each local client on the unlabeled dataset. This, however, still discloses private information and restricts the types of models to those trainable via gradient-based methods. We propose to go one step further and use a form of federated co-training, where local hard labels on the public unlabeled datasets are shared and aggregated into a consensus label. This consensus label can be used for local training by any supervised machine learning model. We show that this federated co-training approach achieves a model quality comparable to both federated learning and distributed distillation on a set of benchmark datasets and real-world medical datasets. It improves privacy over both approaches, protecting against common membership inference attacks to the highest degree. Furthermore, we show that federated co-training can collaboratively train interpretable models, such as decision trees and rule ensembles, achieving a model quality comparable to centralized training.
Abstract（参考訳）: 多くの重要なアプリケーションでは、センシティブなデータは本質的に分散している。フェデレーション学習は、局所的に訓練されたモデルのパラメータを集約することで、協力的にモデルを訓練する。これにより、センシティブなローカルデータの露出が回避される。しかし、共有モデルのパラメータからセンシティブなデータを推測することは可能である。同時に、多くのタイプの機械学習モデルは、決定木や規則アンサンブルのようなパラメータアグリゲーションには役に立たない。多くのアプリケーション、特にヘルスケアにおいて、大きなラベルのないデータセットが公開されていることが観察されている。分散蒸留(英語版)によりクライアント間の情報交換、すなわち、ラベルなしデータセット上の各ローカルクライアントのソフトな予測との相違によるローカルトレーニングの共規則化に使用できる。しかし、これは依然としてプライベート情報を開示し、モデルの種類を勾配ベースの手法でトレーニングできるものに制限する。我々はさらに一歩進めて、公開されていないデータセットのローカルなハードラベルを共有し、コンセンサスラベルに集約するフェデレーション付きコトレーニングの形式を採用することを提案する。このコンセンサスラベルは、教師付き機械学習モデルによるローカルトレーニングに使用することができる。この連関共同学習アプローチは,ベンチマークデータセットと実世界の医療データセットのセット上で,連帯学習と分散蒸留に匹敵するモデル品質を実現していることを示す。どちらのアプローチよりもプライバシーが向上し、共通のメンバーシップ推論攻撃から高いレベルまで保護される。さらに,協調学習は,決定木や規則アンサンブルといった解釈可能なモデルを協調的に学習し,集中型トレーニングに匹敵するモデル品質を達成することができることを示した。

関連論文リスト

Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
論文参考訳（メタデータ） (2024-11-07T13:25:52Z)
Overcoming label shift in targeted federated learning [8.223143536605248]
フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
論文参考訳（メタデータ） (2024-11-06T09:52:45Z)
Proximity-based Self-Federated Learning [1.0066310107046081]
本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
論文参考訳（メタデータ） (2024-07-17T08:44:45Z)
Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文参考訳（メタデータ） (2024-04-24T02:22:50Z)
Advancing Personalized Federated Learning: Group Privacy, Fairness, and Beyond [6.731000738818571]
Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
論文参考訳（メタデータ） (2023-09-01T12:20:19Z)
Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文参考訳（メタデータ） (2022-11-14T13:59:50Z)
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文参考訳（メタデータ） (2022-09-10T05:20:31Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)
Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2020-06-22T09:43:41Z)
Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。