論文の概要: Federated Learning with Only Positive Labels by Exploring Label Correlations

• arxiv url: http://arxiv.org/abs/2404.15598v1
• Date: Wed, 24 Apr 2024 02:22:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-25 14:53:37.609152
• Title: Federated Learning with Only Positive Labels by Exploring Label Correlations
• Title（参考訳）: ラベル相関の探索による正のラベルのみによるフェデレーション学習
• Authors: Xuming An, Dui Wang, Li Shen, Yong Luo, Han Hu, Bo Du, Yonggang Wen, Dacheng Tao,
• Abstract要約: フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
• 参考スコア（独自算出の注目度）: 78.59613150221597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning aims to collaboratively learn a model by using the data from multiple users under privacy constraints. In this paper, we study the multi-label classification problem under the federated learning setting, where trivial solution and extremely poor performance may be obtained, especially when only positive data w.r.t. a single class label are provided for each client. This issue can be addressed by adding a specially designed regularizer on the server-side. Although effective sometimes, the label correlations are simply ignored and thus sub-optimal performance may be obtained. Besides, it is expensive and unsafe to exchange user's private embeddings between server and clients frequently, especially when training model in the contrastive way. To remedy these drawbacks, we propose a novel and generic method termed Federated Averaging by exploring Label Correlations (FedALC). Specifically, FedALC estimates the label correlations in the class embedding learning for different label pairs and utilizes it to improve the model training. To further improve the safety and also reduce the communication overhead, we propose a variant to learn fixed class embedding for each client, so that the server and clients only need to exchange class embeddings once. Extensive experiments on multiple popular datasets demonstrate that our FedALC can significantly outperform existing counterparts.
• Abstract（参考訳）: フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,各クライアントに1つのクラスラベルのみを付加した場合に,自明な解法と極めて低い性能が得られるような,フェデレート学習環境下でのマルチラベル分類問題について検討する。 この問題は、サーバサイドに特別に設計された正規化子を追加することで解決できる。 有効ではあるが、ラベル相関は単純に無視されるため、準最適性能が得られる。 さらに、特に対照的な方法でのトレーニングモデルでは、サーバとクライアントの間でユーザのプライベートな埋め込みを頻繁に交換するのは高価で安全ではない。 これらの欠点を解消するために,ラベル相関(FedALC)を探索し,フェデレート平均化(Federated Averaging)と呼ばれる新しい手法を提案する。 特に、FedALCは、異なるラベルペアに対するクラス埋め込み学習におけるラベル相関を推定し、モデルトレーニングを改善するためにそれを利用する。 安全性をさらに向上させ,通信オーバーヘッドを低減するため,サーバとクライアントが一度だけクラス埋め込みを交換できるように,各クライアントに対して固定クラス埋め込みを学習するための変種を提案する。 複数の一般的なデータセットに対する大規模な実験は、我々のFedALCが既存のデータセットを著しく上回っていることを示している。

関連論文リスト

• Overcoming label shift in targeted federated learning [8.223143536605248]
  フェデレーション学習は、複数のアクターがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 ひとつの一般的な違反はラベルシフトであり、そこでは、クライアント間で、あるいはクライアントとターゲットドメイン間で、ラベルの分布が異なる。 我々は,中心サーバにおけるターゲットラベル分布の知識を活用することで,ラベルシフトに適応する新しいモデルアグリゲーション手法であるFedPALSを提案する。
  論文  参考訳（メタデータ） (2024-11-06T09:52:45Z)
• Federated Learning with Label-Masking Distillation [33.80340338038264]
  フェデレーション学習は、複数のローカルクライアントに分散したデータ上でモデルを協調的にトレーニングするための、プライバシ保護の方法を提供する。 クライアントのユーザ動作が異なるため、異なるクライアント間のラベルの分布は著しく異なる。 本稿では,FedLMDと呼ばれるラベルマスキング蒸留手法を提案し,各クライアントのラベル分布を知覚することで,フェデレーション学習を容易にする。
  論文  参考訳（メタデータ） (2024-09-20T00:46:04Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis [23.70951896315126]
  この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。 本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T07:12:12Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Trustable Co-label Learning from Multiple Noisy Annotators [68.59187658490804]
  監督されたディープラーニングは、大量の注釈付き例に依存している。 典型的な方法は、複数のノイズアノテータから学習することである。 本稿では,emphTrustable Co-label Learning (TCL)と呼ばれるデータ効率のよい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T16:57:00Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)
• Federated Learning with Only Positive Labels [71.63836379169315]
  FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。 理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
  論文  参考訳（メタデータ） (2020-04-21T23:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。