Fugu-MT 論文翻訳(概要): Little is Enough: Improving Privacy by Sharing Labels in Federated Semi-Supervised Learning

論文の概要: Little is Enough: Improving Privacy by Sharing Labels in Federated Semi-Supervised Learning

arxiv url: http://arxiv.org/abs/2310.05696v3
Date: Thu, 23 May 2024 11:16:54 GMT
ステータス: 処理完了
システム内更新日: 2024-05-26 20:43:06.241385
Title: Little is Enough: Improving Privacy by Sharing Labels in Federated Semi-Supervised Learning
Title（参考訳）: フェデレーション・セミスーパービジョンラーニングにおけるラベル共有によるプライバシ向上
Authors: Amr Abourayya, Jens Kleesiek, Kanishka Rao, Erman Ayday, Bharat Rao, Geoff Webb, Michael Kamp,
Abstract要約: 多くの重要なアプリケーションでは、機密データは本質的に分散しており、プライバシー上の懸念のために集中できない。これらのアプローチのほとんどは、ローカルモデルパラメータ、パブリックデータセット上のソフト予測、あるいは両方の組み合わせを共有している。しかし、これは依然としてプライベート情報を開示し、勾配ベースの手法でトレーニングを行う人たちにローカルモデルを制限している。我々は、公開されていないデータセットでハードラベルのみを共有し、共有ラベルに関するコンセンサスを、クライアントが使用する擬似ラベルとして使用することを提案する。
参考スコア（独自算出の注目度）: 10.972006295280636
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In many critical applications, sensitive data is inherently distributed and cannot be centralized due to privacy concerns. A wide range of federated learning approaches have been proposed in the literature to train models locally at each client without sharing their sensitive local data. Most of these approaches either share local model parameters, soft predictions on a public dataset, or a combination of both. This, however, still discloses private information and restricts local models to those that lend themselves to training via gradient-based methods. To reduce the amount of shared information, we propose to share only hard labels on a public unlabeled dataset, and use a consensus over the shared labels as a pseudo-labeling to be used by clients. The resulting federated co-training approach empirically improves privacy substantially, without compromising on model quality. At the same time, it allows us to use local models that do not lend themselves to the parameter aggregation used in federated learning, such as (gradient boosted) decision trees, rule ensembles, and random forests.
Abstract（参考訳）: 多くの重要なアプリケーションでは、機密データは本質的に分散しており、プライバシー上の懸念のために集中できない。文献では、各クライアントで、機密データを共有せずにモデルをローカルにトレーニングするための、幅広いフェデレートされた学習手法が提案されている。これらのアプローチのほとんどは、ローカルモデルパラメータ、パブリックデータセット上のソフト予測、あるいは両方の組み合わせを共有している。しかし、これは依然としてプライベート情報を開示し、勾配ベースの手法でトレーニングを行う人たちにローカルモデルを制限している。共有情報の量を削減するため、公開されていないデータセット上でハードラベルのみを共有することを提案し、共有ラベルに対するコンセンサスをクライアントが使用する擬似ラベルとして利用する。その結果、フェデレートされたコトレーニングアプローチは、モデルの品質を損なうことなく、プライバシーを大幅に改善する。同時に、(緩やかな)決定木、ルールアンサンブル、ランダムな森といった、フェデレート学習で使用されるパラメータアグリゲーションに自らを依存しない局所モデルを使用することが可能である。

関連論文リスト

Proximity-based Self-Federated Learning [1.0066310107046081]
本稿では,近接型自己フェデレーション学習という,新しい完全分散型フェデレーション学習戦略を提案する。従来のアルゴリズムとは異なり、我々の手法は、地理的近接とモデル精度に基づいて、クライアントが近隣ノードとモデルを共有し、調整することを奨励する。
論文参考訳（メタデータ） (2024-07-17T08:44:45Z)
FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data [13.146806294562474]
本稿では,FedCoSR(Federated Contrastive Shareable Representations)という,個人化学習アルゴリズムを提案する。ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報である。クライアント間でのラベル分布スキューによる性能の低下に対処するため、局所表現とグローバル表現の対比学習を採用する。
論文参考訳（メタデータ） (2024-04-27T14:05:18Z)
Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文参考訳（メタデータ） (2024-04-24T02:22:50Z)
Advancing Personalized Federated Learning: Group Privacy, Fairness, and Beyond [6.731000738818571]
Federated Learning(FL)は、機械学習モデルを分散的かつ協調的にトレーニングするためのフレームワークである。本稿では、FLフレームワーク内で訓練されたモデルによって達成されたパーソナライズ、プライバシ保証、公平性の3つの相互作用について述べる。グループプライバシ保証を$d$-privacyを利用して導入する手法が提案されている。
論文参考訳（メタデータ） (2023-09-01T12:20:19Z)
Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文参考訳（メタデータ） (2022-09-10T05:20:31Z)
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文参考訳（メタデータ） (2022-02-10T20:44:44Z)
Federated Learning from Small Datasets [48.879172201462445]
フェデレーション学習は、複数のパーティが、ローカルデータを共有せずに、共同モデルを共同でトレーニングすることを可能にする。そこで本研究では,局所モデルの置換とモデルアグリゲーションを連動させる新しい手法を提案する。置換は、各ローカルモデルをローカルデータセットのデージーチェーンに公開することで、データスパースドメインでのより効率的なトレーニングを実現する。
論文参考訳（メタデータ） (2021-10-07T13:49:23Z)
WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文参考訳（メタデータ） (2020-08-13T04:26:31Z)
Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
ディープラーニングは多くのコンピュータビジョンタスクで成功している。しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
論文参考訳（メタデータ） (2020-06-07T13:32:33Z)
Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文参考訳（メタデータ） (2020-05-03T09:14:31Z)
Federating Recommendations Using Differentially Private Prototypes [16.29544153550663]
生データを収集せずにグローバルおよびローカルなプライベートモデルを学習するための新しいフェデレーションアプローチを提案する。通信を2ラウンドだけ必要とすることで、通信コストを削減し、過剰なプライバシー損失を回避することができます。本稿では,グローバルモデルの局所的適応により,集中行列分解に基づくレコメンデータシステムモデルよりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-03-01T22:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。