論文の概要: Federated Unsupervised Representation Learning

• arxiv url: http://arxiv.org/abs/2010.08982v1
• Date: Sun, 18 Oct 2020 13:28:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 03:58:03.173919
• Title: Federated Unsupervised Representation Learning
• Title（参考訳）: 教師なし表現学習
• Authors: Fengda Zhang, Kun Kuang, Zhaoyang You, Tao Shen, Jun Xiao, Yin Zhang, Chao Wu, Yueting Zhuang, Xiaolin Li
• Abstract要約: フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
• 参考スコア（独自算出の注目度）: 56.715917111878106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To leverage enormous unlabeled data on distributed edge devices, we formulate a new problem in federated learning called Federated Unsupervised Representation Learning (FURL) to learn a common representation model without supervision while preserving data privacy. FURL poses two new challenges: (1) data distribution shift (Non-IID distribution) among clients would make local models focus on different categories, leading to the inconsistency of representation spaces. (2) without the unified information among clients in FURL, the representations across clients would be misaligned. To address these challenges, we propose Federated Constrastive Averaging with dictionary and alignment (FedCA) algorithm. FedCA is composed of two key modules: (1) dictionary module to aggregate the representations of samples from each client and share with all clients for consistency of representation space and (2) alignment module to align the representation of each client on a base model trained on a public data. We adopt the contrastive loss for local model training. Through extensive experiments with three evaluation protocols in IID and Non-IID settings, we demonstrate that FedCA outperforms all baselines with significant margins.
• Abstract（参考訳）: 分散エッジデバイス上の膨大なラベルなしデータを活用するために,federated unsupervised representation learning(furl)と呼ばれるフェデレーション学習における新たな問題を定式化し,データのプライバシを保ちながら,監視することなく共通表現モデルを学ぶ。 1) クライアント間のデータ分散シフト(Non-IID分散)は、ローカルモデルを異なるカテゴリにフォーカスさせ、表現空間の不整合をもたらす。 2) FURLのクライアント間で統一された情報がなければ、クライアント間の表現は不一致になります。 これらの課題に対処するために,辞書とアライメントを用いたFederated Constrastive Averaging(FedCA)アルゴリズムを提案する。 fedcaは、(1)各クライアントからサンプルの表現を集約し、表現空間の一貫性のためにすべてのクライアントと共有するディクショナリモジュール、(2)各クライアントの表現をパブリックデータでトレーニングされたベースモデルにアライメントするアライメントモジュールの2つのキーモジュールで構成されている。 我々は、局所モデルトレーニングにおいて対照的な損失を採用する。 IIDおよび非IID設定における3つの評価プロトコルによる広範囲な実験を通して、FedCAが全ての基準線を著しく上回っていることを示す。

関連論文リスト

• Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data [20.432294152991954]
  フェデレーション学習は、分散データのモデリングにおいて効果的なパフォーマンスを達成する。 実際には、クライアントデータは十分にラベル付けされていないため、非IIDデータとの非教師なし学習(FUSL)の可能性を秘めている。 非IIDデータを用いたFUSLにおける一様および一様表現を生成するFedU2を提案する。
  論文  参考訳（メタデータ） (2024-03-25T03:26:01Z)
• FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features [15.555538379806135]
  Federated Learning(FL)は、エッジデバイスのデータ駆動モデルの可能性を、生データを共有せずに最大化する分散学習パラダイムである。 我々は、クライアントが情報やクライアントの不変性を抽出できるクライアント不変表現学習フレームワークであるFedCiRを提案する。
  論文  参考訳（メタデータ） (2023-08-30T06:36:32Z)
• HyperFed: Hyperbolic Prototypes Exploration with Consistent Aggregation for Non-IID Data in Federated Learning [14.503047600805436]
  フェデレーション学習(FL)は、分散された方法でユーザデータを協調的にモデル化する。 実世界では、クライアント間の非同一・独立データ分散(非IID)は、クラス統計のシフト、(2)階層的情報利用の不十分、(3)集約における不整合という3つの問題により、FLの性能を阻害する。
  論文  参考訳（メタデータ） (2023-07-26T02:43:38Z)
• FACT: Federated Adversarial Cross Training [0.0]
  Federated Adrial Cross Training (FACT)は、ソースクライアント間の暗黙のドメイン差を利用して、ターゲットドメイン内のドメインシフトを特定する。 我々は、FACTが最先端のフェデレーション、非フェデレーション、およびソースフリードメイン適応モデルより優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2023-06-01T12:25:43Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
  Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。 ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。 デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
  論文  参考訳（メタデータ） (2023-03-04T16:04:49Z)
• Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning [47.87639746826555]
  サーバ・ツー・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアント・クライアントの相違という2つの課題をドメインの相違によって集約モデルに導いた。 本稿では,領域差を考慮した蒸留に基づく適応的知識集約アルゴリズムFedD3Aを提案する。
  論文  参考訳（メタデータ） (2022-10-04T04:08:16Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。