論文の概要: Navigating Alignment for Non-identical Client Class Sets: A Label Name-Anchored Federated Learning Framework

• arxiv url: http://arxiv.org/abs/2301.00489v2
• Date: Tue, 6 Jun 2023 05:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 21:17:09.266433
• Title: Navigating Alignment for Non-identical Client Class Sets: A Label Name-Anchored Federated Learning Framework
• Title（参考訳）: 非識別型クライアントクラス集合のナビゲーティングアライメント:ラベル名アンコール型フェデレーションラーニングフレームワーク
• Authors: Jiayun Zhang, Xiyuan Zhang, Xinyang Zhang, Dezhi Hong, Rajesh K. Gupta, Jingbo Shang
• Abstract要約: FedAlignはラベルとデータの観点からクライアント間の遅延スペースを調整する新しいフレームワークである。 ラベルの観点からは、表現力のある自然言語クラス名をラベルエンコーダの共通基盤として活用し、クラス表現をアンカーする。 データの観点からは、グローバルクラス表現をアンカーとみなし、局所的に知らないクラスのアンカーに十分近い、あるいは遠くにあるデータポイントを活用して、クライアント間でデータエンコーダを整列させる。
• 参考スコア（独自算出の注目度）: 26.902679793955972
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional federated classification methods, even those designed for non-IID clients, assume that each client annotates its local data with respect to the same universal class set. In this paper, we focus on a more general yet practical setting, non-identical client class sets, where clients focus on their own (different or even non-overlapping) class sets and seek a global model that works for the union of these classes. If one views classification as finding the best match between representations produced by data/label encoder, such heterogeneity in client class sets poses a new significant challenge -- local encoders at different clients may operate in different and even independent latent spaces, making it hard to aggregate at the server. We propose a novel framework, FedAlign, to align the latent spaces across clients from both label and data perspectives. From a label perspective, we leverage the expressive natural language class names as a common ground for label encoders to anchor class representations and guide the data encoder learning across clients. From a data perspective, during local training, we regard the global class representations as anchors and leverage the data points that are close/far enough to the anchors of locally-unaware classes to align the data encoders across clients. Our theoretical analysis of the generalization performance and extensive experiments on four real-world datasets of different tasks confirm that FedAlign outperforms various state-of-the-art (non-IID) federated classification methods.
• Abstract（参考訳）: 従来の統合分類法は、非IIDクライアント向けに設計されたものでさえ、各クライアントが同じユニバーサルクラスセットに対してそのローカルデータをアノテートしていると仮定する。 本稿では、クライアントが独自の(異なる、あるいは重複しない)クラスセットにフォーカスし、これらのクラスの統一のために機能するグローバルモデルを求める、より汎用的で実用的な非同一のクライアントクラスセットに焦点を当てる。 データ/ラベルエンコーダが生成する表現間の最善の一致を分類と見なすと、クライアントクラスセットにおけるこのような不均一性は、新たな大きな課題をもたらす - 異なるクライアントのローカルエンコーダは、異なる独立した潜在空間で動作し、サーバで集約することが困難になる。 ラベルとデータの両方の観点からクライアント間の潜在空間を整合させる新しいフレームワークであるfederignを提案する。 ラベルの観点からは、表現型自然言語クラス名を、ラベルエンコーダがクラス表現をアンカーし、クライアント間で学習するデータエンコーダをガイドするための共通基盤として活用する。 データの観点から、ローカルトレーニングの間、グローバルクラス表現をアンカーとみなし、ローカルに知らないクラスのアンカーに十分近い、あるいは遠くにあるデータポイントを利用して、クライアント間でデータエンコーダを調整します。 一般化性能に関する理論的解析と,4つの実世界の課題に対する広範な実験により,FedAlignが様々な最先端(非IID)フェデレーション分類法より優れていることが確認された。

関連論文リスト

• FUNAvg: Federated Uncertainty Weighted Averaging for Datasets with Diverse Labels [37.20677220716839]
  我々は,関節背骨を連合的に学習することを提案する。 異なるセグメンテーションヘッドは、個々のクライアントのラベルでのみ訓練されているが、それぞれのサイトに存在しない他のラベルに関する情報も学習している。 FUNAvgと呼ばれるこの手法では、平均して同じデータセット上でトレーニングされ、テストされたモデルと同等です。
  論文  参考訳（メタデータ） (2024-07-10T09:23:55Z)
• FedCRL: Personalized Federated Learning with Contrastive Shared Representations for Label Heterogeneity in Non-IID Data [13.146806294562474]
  本稿では,FedCoSR(Federated Contrastive Shareable Representations)という,個人化学習アルゴリズムを提案する。 ローカルモデルの浅い層と典型的なローカル表現のパラメータはどちらもサーバの共有可能な情報である。 クライアント間でのラベル分布スキューによる性能の低下に対処するため、局所表現とグローバル表現の対比学習を採用する。
  論文  参考訳（メタデータ） (2024-04-27T14:05:18Z)
• Federated Learning with Only Positive Labels by Exploring Label Correlations [78.59613150221597]
  フェデレートラーニングは、プライバシー上の制約の下で複数のユーザのデータを使用することで、モデルを協調的に学習することを目的としている。 本稿では,フェデレート学習環境下でのマルチラベル分類問題について検討する。 ラベル相関(FedALC)を探索してフェデレート平均化(Federated Averaging)と呼ばれる新しい,汎用的な手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T02:22:50Z)
• Federated Deep Multi-View Clustering with Global Self-Supervision [51.639891178519136]
  フェデレートされたマルチビュークラスタリングは、複数のデバイスに分散したデータからグローバルクラスタリングモデルを学習する可能性がある。 この設定では、ラベル情報は未知であり、データのプライバシを保持する必要がある。 本稿では,複数のクライアントから補完的なクラスタ構造をマイニングできる,新しい多視点クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-24T17:07:01Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Dual Class-Aware Contrastive Federated Semi-Supervised Learning [9.742389743497045]
  本稿では,FSSL(Federated Semi-Supervised Learning)手法について紹介する。 デュアルクラス対応のコントラストモジュールを実装することで、DCCFSSLは、さまざまなクライアントが大きな逸脱に対処するための統一的なトレーニング目標を確立する。 実験の結果,DCCFSSLは3つのベンチマークデータセットにおいて最先端の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-16T13:54:31Z)
• Cross-domain Federated Object Detection [43.66352018668227]
  フェデレーション学習は、クライアントデータをリークすることなく、多人数の共同学習を可能にする。 我々はFedODというドメイン間フェデレーションオブジェクト検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-30T03:09:59Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Federated Unsupervised Representation Learning [56.715917111878106]
  フェデレート非教師表現学習(FURL)と呼ばれるフェデレーション学習における新しい問題を定式化し、教師なしの共通表現モデルを学習する。 FedCAは2つの主要なモジュールで構成されている: 辞書モジュールは、各クライアントからのサンプルの表現を集約し、表現空間の整合性のためにすべてのクライアントと共有し、アライメントモジュールは、公開データに基づいてトレーニングされたベースモデル上で各クライアントの表現を整合させる。
  論文  参考訳（メタデータ） (2020-10-18T13:28:30Z)
• Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning [78.88007892742438]
  ラベル付きデータの位置に基づくFSSL(Federated Semi-Supervised Learning)の2つの重要なシナリオについて検討する。 フェデレートマッチング(FedMatch)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-22T09:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。