論文の概要: Provably Near-Optimal Federated Ensemble Distillation with Negligible Overhead

• arxiv url: http://arxiv.org/abs/2502.06349v1
• Date: Mon, 10 Feb 2025 10:58:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:32.055469
• Title: Provably Near-Optimal Federated Ensemble Distillation with Negligible Overhead
• Title（参考訳）: 難治性オーバーヘッドによるほぼ最適フェデレーション蒸留法
• Authors: Won-Jun Jang, Hyeon-Seo Park, Si-Hyeon Lee,
• Abstract要約: フェデレートされたアンサンブル蒸留は、クライアント予測に基づいて、未ラベルのサーバデータセットの擬似ラベルを生成することによって、クライアントの不均一性に対処する。 本稿では,サーバ分散ジェネレータとローカルデータセットで学習したクライアント識別器を活用する,実証可能な近似重み付け手法を提案する。 様々な画像分類タスクに関する実験により,提案手法がベースラインを著しく上回ることを示す。
• 参考スコア（独自算出の注目度）: 11.115044922684545
• License:
• Abstract: Federated ensemble distillation addresses client heterogeneity by generating pseudo-labels for an unlabeled server dataset based on client predictions and training the server model using the pseudo-labeled dataset. The unlabeled server dataset can either be pre-existing or generated through a data-free approach. The effectiveness of this approach critically depends on the method of assigning weights to client predictions when creating pseudo-labels, especially in highly heterogeneous settings. Inspired by theoretical results from GANs, we propose a provably near-optimal weighting method that leverages client discriminators trained with a server-distributed generator and local datasets. Our experiments on various image classification tasks demonstrate that the proposed method significantly outperforms baselines. Furthermore, we show that the additional communication cost, client-side privacy leakage, and client-side computational overhead introduced by our method are negligible, both in scenarios with and without a pre-existing server dataset.
• Abstract（参考訳）: フェデレートされたアンサンブル蒸留は、クライアント予測に基づいて未ラベルのサーバデータセットの擬似ラベルを生成し、擬似ラベルのデータセットを使用してサーバモデルをトレーニングすることによって、クライアントの不均一性に対処する。 ラベルなしのサーバデータセットは、事前に存在するか、データフリーのアプローチで生成される。 このアプローチの有効性は、特に高度に異種な設定において、擬似ラベルを作成する際のクライアント予測に重みを割り当てる方法に大きく依存する。 GANの理論的結果に触発されて,サーバ分散ジェネレータとローカルデータセットで訓練されたクライアント識別器を活用する,実証可能な近似重み付け手法を提案する。 様々な画像分類タスクに関する実験により,提案手法がベースラインを著しく上回ることを示す。 さらに,既存のサーバデータセットを使用せずに,通信コスト,クライアント側プライバシリーク,クライアント側計算オーバーヘッドが無視可能であることを示す。

関連論文リスト

• Uncertainty-Aware Label Refinement on Hypergraphs for Personalized Federated Facial Expression Recognition [58.98052764581606]
  我々はhYpergraphs (AMY) 法に基づく新しい不確実性認識ラベルリファレントを開発する。 ローカルトレーニングでは、各ローカルモデルは、バックボーン、不確実性推定(UE)ブロック、および式分類(EC)ブロックで構成される。 次に、ローカルクライアントにおける標本の不確実性重みを推定するために、パーソナライズされた不確実性推定器を導入する。
  論文  参考訳（メタデータ） (2025-01-03T13:59:21Z)
• Boosting Federated Learning with FedEntOpt: Mitigating Label Skew by Entropy-Based Client Selection [13.851391819710367]
  ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。 FedEntOptは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。 低い参加率とクライアントのドロップアウトのシナリオでは、堅牢で優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-11-02T13:31:36Z)
• Learning Unlabeled Clients Divergence for Federated Semi-Supervised Learning via Anchor Model Aggregation [10.282711631100845]
  SemiAnAggはアンカーモデルを通じて未ラベルのクライアントコントリビューションを学習する。 SemiAnAggは4つの広く使用されているFedSemiベンチマークにおいて、最先端の新たな結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T20:50:40Z)
• FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis [23.70951896315126]
  この研究は、サーバを小さなラベル付きデータセットで検討し、ラベルなしデータを複数のクライアントで半教師付き学習に使用することを意図している。 本稿では,サーバ内のラベル付きデータとクライアント内のラベルなしデータをどのように利用するかという問題に対処するため,一般化されたモデルであるFederated Incremental Learning (FedIL)を提案する。
  論文  参考訳（メタデータ） (2023-02-23T07:12:12Z)
• When to Trust Aggregated Gradients: Addressing Negative Client Sampling in Federated Learning [41.51682329500003]
  本稿では,各ラウンドにおける集約勾配に対するサーバ学習率を調整するための新しい学習率適応機構を提案する。 我々は、最適なサーバ学習率に肯定的な有意義で堅牢な指標を見つけるために、理論的な推論を行う。
  論文  参考訳（メタデータ） (2023-01-25T03:52:45Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。