論文の概要: Uncertainty Minimization for Personalized Federated Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2205.02438v1
• Date: Thu, 5 May 2022 04:41:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-07 03:32:09.235147
• Title: Uncertainty Minimization for Personalized Federated Semi-Supervised Learning
• Title（参考訳）: パーソナライズされた半教師付き学習における不確実性最小化
• Authors: Yanhang Shi, Siguang Chen, and Haijun Zhang
• Abstract要約: 我々は,データ関連クライアント(ヘルパーエージェント)からのラベリング支援を部分的にラベル付けまたは未ラベルのクライアントが求めることのできる,新しい半教師付き学習パラダイムを提案する。 実験により,提案手法は部分ラベル付きデータを用いた他の関連する研究よりも優れた性能と安定な収束が得られることが示された。
• 参考スコア（独自算出の注目度）: 15.123493340717303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since federated learning (FL) has been introduced as a decentralized learning technique with privacy preservation, statistical heterogeneity of distributed data stays the main obstacle to achieve robust performance and stable convergence in FL applications. Model personalization methods have been studied to overcome this problem. However, existing approaches are mainly under the prerequisite of fully labeled data, which is unrealistic in practice due to the requirement of expertise. The primary issue caused by partial-labeled condition is that, clients with deficient labeled data can suffer from unfair performance gain because they lack adequate insights of local distribution to customize the global model. To tackle this problem, 1) we propose a novel personalized semi-supervised learning paradigm which allows partial-labeled or unlabeled clients to seek labeling assistance from data-related clients (helper agents), thus to enhance their perception of local data; 2) based on this paradigm, we design an uncertainty-based data-relation metric to ensure that selected helpers can provide trustworthy pseudo labels instead of misleading the local training; 3) to mitigate the network overload introduced by helper searching, we further develop a helper selection protocol to achieve efficient communication with negligible performance sacrifice. Experiments show that our proposed method can obtain superior performance and more stable convergence than other related works with partial labeled data, especially in highly heterogeneous setting.
• Abstract（参考訳）: フェデレートラーニング(FL)は,プライバシ保護を伴う分散学習技術として導入されているため,分散データの統計的不均一性は,FLアプリケーションにおける堅牢な性能と安定した収束を実現するための主要な障害である。 この問題を解決するためにモデルパーソナライズ手法が研究されている。 しかし、既存のアプローチは、専門知識の要求により実際には非現実的な完全ラベル付きデータの前提条件下にある。 部分ラベル状態によって引き起こされる主な問題は、ラベル付きデータの不足したクライアントは、グローバルモデルをカスタマイズするためのローカル分散に関する十分な洞察がないため、不公平なパフォーマンス向上に苦しむ可能性があることである。 この問題に取り組むために 1)データ関連クライアント(ヘルパーエージェント)からのラベル付け支援を部分ラベルまたはラベルなしのクライアントが求めることのできる,パーソナライズされた半教師付き学習パラダイムを提案する。 2) このパラダイムを基礎として,不確実性に基づくデータ相関尺度を設計し,選択したヘルパーが,ローカルトレーニングを誤解させることなく,信頼できる擬似ラベルを提供できるようにした。 3) ヘルパー探索によって導入されたネットワーク過負荷を軽減するため, より効率的な通信を実現するためのヘルパー選択プロトコルを開発した。 実験により,提案手法は,特に不均質な設定において,部分ラベル付きデータを用いた他の作業よりも優れた性能とより安定な収束が得られることが示された。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• One-Shot Federated Learning with Classifier-Guided Diffusion Models [44.604485649167216]
  ワンショット・フェデレーション・ラーニング (OSFL) は, 通信コストの低さから近年注目されている。 本稿では,OSFLに拡散モデルがもたらす新たな機会を探求し,FedCADOを提案する。 FedCADOはクライアントのディストリビューションに準拠したデータを生成し、その後、サーバ上で集約されたモデルをトレーニングします。
  論文  参考訳（メタデータ） (2023-11-15T11:11:25Z)
• Privacy-preserving Federated Primal-dual Learning for Non-convex and Non-smooth Problems with Model Sparsification [51.04894019092156]
  FL(Federated Learning)は,FLオーケストレーション(PS)の下でクライアント上でモデルをトレーニングする,急速に成長する領域として認識されている。 本稿では,非滑らかなFL問題に対して,新しい一次分離アルゴリズムを提案し,保証する。 その独特な洞察力のある性質とその分析も提示される。
  論文  参考訳（メタデータ） (2023-10-30T14:15:47Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Dubhe: Towards Data Unbiasedness with Homomorphic Encryption in Federated Learning Client Selection [16.975086164684882]
  Federated Learning(FL)は、クライアントが自身のローカルデータ上でモデルを協調的にトレーニングできる分散機械学習パラダイムである。 FLの性能劣化の原因を数学的に検証し,様々なデータセット上でのFLの性能について検討する。 そこで我々はDubheという名のプラグイン可能なシステムレベルのクライアント選択手法を提案し,HEの助けを借りてクライアントを積極的にトレーニングに参加させ,プライバシを保護できるようにする。
  論文  参考訳（メタデータ） (2021-09-08T13:00:46Z)
• Auto-weighted Robust Federated Learning with Corrupted Data Sources [7.475348174281237]
  フェデレーション学習はコミュニケーション効率とプライバシ保護のトレーニングプロセスを提供する。 平均損失関数をナイーブに最小化する標準的なフェデレーション学習技術は、データの破損に弱い。 破損したデータソースに対して堅牢性を提供するために、自動重み付けロバストフェデレーテッドラーニング(arfl)を提案します。
  論文  参考訳（メタデータ） (2021-01-14T21:54:55Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。