論文の概要: Federated Learning with Only Positive Labels
- arxiv url: http://arxiv.org/abs/2004.10342v1
- Date: Tue, 21 Apr 2020 23:35:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 06:12:15.450077
- Title: Federated Learning with Only Positive Labels
- Title(参考訳): ポジティブラベルのみを用いたフェデレーション学習
- Authors: Felix X. Yu, Ankit Singh Rawat, Aditya Krishna Menon, Sanjiv Kumar
- Abstract要約: FedAwS(Federated Averaging with Spreadout)という,正のラベルのみを用いたトレーニングのための汎用フレームワークを提案する。
理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスとほぼ一致していることを示す。
- 参考スコア(独自算出の注目度): 71.63836379169315
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider learning a multi-class classification model in the federated
setting, where each user has access to the positive data associated with only a
single class. As a result, during each federated learning round, the users need
to locally update the classifier without having access to the features and the
model parameters for the negative classes. Thus, naively employing conventional
decentralized learning such as the distributed SGD or Federated Averaging may
lead to trivial or extremely poor classifiers. In particular, for the embedding
based classifiers, all the class embeddings might collapse to a single point.
To address this problem, we propose a generic framework for training with
only positive labels, namely Federated Averaging with Spreadout (FedAwS), where
the server imposes a geometric regularizer after each round to encourage
classes to be spreadout in the embedding space. We show, both theoretically and
empirically, that FedAwS can almost match the performance of conventional
learning where users have access to negative labels. We further extend the
proposed method to the settings with large output spaces.
- Abstract(参考訳): 我々は,一つのクラスにのみ関連付けられた肯定的なデータにアクセス可能なフェデレーション環境で,複数のクラス分類モデルを学習することを検討する。
その結果、各フェデレーション学習ラウンドでは、ユーザは、負のクラスの特徴やモデルパラメータにアクセスせずに、ローカルに分類器を更新する必要がある。
したがって、分散sgdやフェデレーション平均化といった従来の分散学習を生かして、自明あるいは極端に貧弱な分類器に繋がる可能性がある。
特に、埋め込みベースの分類器の場合、すべてのクラス埋め込みは単一の点に崩壊する可能性がある。
この問題に対処するために,サーバは各ラウンドの後に幾何正規化子を課し,クラスを埋め込み空間に分散させるように促す,fedaws(federated averaging with spreadout)という,ポジティブラベルのみを用いたトレーニングのための汎用フレームワークを提案する。
理論的にも経験的にも、FedAwSは、ユーザが負のラベルにアクセス可能な従来の学習のパフォーマンスにほぼ一致することを示す。
さらに,提案手法を大きな出力空間を持つ設定に拡張する。
関連論文リスト
- Embedding Space Allocation with Angle-Norm Joint Classifiers for Few-Shot Class-Incremental Learning [8.321592316231786]
クラス増分学習(class-incremental learning)は、少数のサンプルから新しいクラスを継続的に学習することを目的としている。
現在のクラスは機能空間全体を占有しており、新しいクラスを学ぶのに有害である。
インクリメンタルラウンドにおける少数のサンプルは、完全なトレーニングには不十分である。
論文 参考訳(メタデータ) (2024-11-14T07:31:12Z) - Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。
本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。
ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
論文 参考訳(メタデータ) (2024-04-24T02:22:50Z) - Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。
本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
論文 参考訳(メタデータ) (2024-01-04T16:06:31Z) - Evolving Multi-Label Fuzzy Classifier [5.53329677986653]
マルチラベル分類は、同時に複数のクラスに1つのサンプルを割り当てるという問題に対処するために、機械学習コミュニティで多くの注目を集めている。
本稿では,新たなマルチラベルサンプルをインクリメンタルかつシングルパスで自己適応・自己展開可能な多ラベルファジィ分類器(EFC-ML)を提案する。
論文 参考訳(メタデータ) (2022-03-29T08:01:03Z) - Towards Unbiased Multi-label Zero-Shot Learning with Pyramid and
Semantic Attention [14.855116554722489]
マルチラベルゼロショット学習は、各入力サンプルに対して、複数の未確認クラスのラベルを認識することを目的としている。
本稿では,多様なクラス固有の領域を考慮し,非バイアス付きマルチラベルゼロショット学習の枠組みを提案する。
論文 参考訳(メタデータ) (2022-03-07T15:52:46Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - PLM: Partial Label Masking for Imbalanced Multi-label Classification [59.68444804243782]
長いラベルの分布を持つ実世界のデータセットで訓練されたニューラルネットワークは、頻繁なクラスに偏りがあり、頻繁なクラスでは不十分である。
本稿では,この比率を利用したPLM(Partial Label Masking)を提案する。
本手法は,マルチラベル (MultiMNIST と MSCOCO) とシングルラベル (CIFAR-10 と CIFAR-100) の2つの画像分類データセットにおいて,既存の手法と比較して高い性能を実現する。
論文 参考訳(メタデータ) (2021-05-22T18:07:56Z) - CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action
Recognition [52.66360172784038]
各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。
提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
論文 参考訳(メタデータ) (2021-01-18T12:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。