論文の概要: Federated Learning with Unlabeled Clients: Personalization Can Happen in Low Dimensions

• arxiv url: http://arxiv.org/abs/2505.15579v1
• Date: Wed, 21 May 2025 14:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.700542
• Title: Federated Learning with Unlabeled Clients: Personalization Can Happen in Low Dimensions
• Title（参考訳）: ラベルのないクライアントによるフェデレートラーニング:低次元でパーソナライズが可能
• Authors: Hossein Zakerinia, Jonathan Scott, Christoph H. Lampert,
• Abstract要約: FLowDUPは、ラベルのないデータを持つフォワードパスのみを使用してパーソナライズされたモデルを生成することができる。 新たなトランスダクティブマルチタスク PAC-Bayesian 一般化バウンダリは、ラベルのないクライアントに対して性能保証を提供する。
• 参考スコア（独自算出の注目度）: 16.161876130822396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Personalized federated learning has emerged as a popular approach to training on devices holding statistically heterogeneous data, known as clients. However, most existing approaches require a client to have labeled data for training or finetuning in order to obtain their own personalized model. In this paper we address this by proposing FLowDUP, a novel method that is able to generate a personalized model using only a forward pass with unlabeled data. The generated model parameters reside in a low-dimensional subspace, enabling efficient communication and computation. FLowDUP's learning objective is theoretically motivated by our new transductive multi-task PAC-Bayesian generalization bound, that provides performance guarantees for unlabeled clients. The objective is structured in such a way that it allows both clients with labeled data and clients with only unlabeled data to contribute to the training process. To supplement our theoretical results we carry out a thorough experimental evaluation of FLowDUP, demonstrating strong empirical performance on a range of datasets with differing sorts of statistically heterogeneous clients. Through numerous ablation studies, we test the efficacy of the individual components of the method.
• Abstract（参考訳）: パーソナライズされたフェデレーション学習は、クライアントとして知られる統計的に異質なデータを保持するデバイス上でのトレーニングの一般的なアプローチとして現れている。 しかし、既存のアプローチのほとんどは、クライアントが独自のパーソナライズされたモデルを得るために、トレーニングや微調整のためにラベル付けされたデータを必要とする。 本稿では,ラベルなしデータのフォワードパスのみを用いてパーソナライズされたモデルを生成するFLowDUPを提案する。 生成されたモデルパラメータは低次元の部分空間に存在し、効率的な通信と計算を可能にする。 FLowDUPの学習目的は、我々の新しいトランスダクティブ多タスクPAC-ベイジアン一般化バウンダリによって理論的に動機付けられ、未ラベルクライアントに対して性能保証を提供する。 目的は、ラベル付きデータを持つクライアントとラベル付きデータしか持たないクライアントの両方がトレーニングプロセスに貢献できるように構成されている。 理論的な結果を補うために、FLowDUPの徹底的な実験的評価を行い、統計的に異種なクライアントの種類が異なるデータセットに対して強い経験的性能を示す。 多数のアブレーション研究を通じて,本手法の個々の成分の有効性を検証した。

関連論文リスト

• Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning [22.705411388403036]
  本稿では,新しい個人化フェデレーション学習アルゴリズムを提案する。 各クライアントは、局所的に微調整されたモデルと複数のフェデレートされたモデルを組み合わせることでパーソナライズされたモデルを構築する。 実データセットに関する理論的解析と実験は、このアプローチの有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-10-28T21:20:51Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)
• PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
  フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。 本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-02T08:07:34Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。