論文の概要: Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling

• arxiv url: http://arxiv.org/abs/2504.13462v1
• Date: Fri, 18 Apr 2025 04:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 19:13:09.960416
• Title: Stratify: Rethinking Federated Learning for Non-IID Data through Balanced Sampling
• Title（参考訳）: Stratify: バランスサンプリングによる非IIDデータのフェデレーション学習の再考
• Authors: Hui Yeok Wong, Chee Kau Lim, Chee Seng Chan,
• Abstract要約: Stratifyは、トレーニング全体を通してクラスとフィーチャーの配布を体系的に管理するために設計された、新しいFLフレームワークである。 従来の階層化サンプリングに着想を得て,SLS(Stratified Label Schedule)を用いてラベル間のバランスの取れた露出を確保する。 プライバシーを守るため,同型暗号化を利用したセキュアクライアント選択プロトコルを実装した。
• 参考スコア（独自算出の注目度）: 9.774529150331297
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) on non-independently and identically distributed (non-IID) data remains a critical challenge, as existing approaches struggle with severe data heterogeneity. Current methods primarily address symptoms of non-IID by applying incremental adjustments to Federated Averaging (FedAvg), rather than directly resolving its inherent design limitations. Consequently, performance significantly deteriorates under highly heterogeneous conditions, as the fundamental issue of imbalanced exposure to diverse class and feature distributions remains unresolved. This paper introduces Stratify, a novel FL framework designed to systematically manage class and feature distributions throughout training, effectively tackling the root cause of non-IID challenges. Inspired by classical stratified sampling, our approach employs a Stratified Label Schedule (SLS) to ensure balanced exposure across labels, significantly reducing bias and variance in aggregated gradients. Complementing SLS, we propose a label-aware client selection strategy, restricting participation exclusively to clients possessing data relevant to scheduled labels. Additionally, Stratify incorporates a fine-grained, high-frequency update scheme, accelerating convergence and further mitigating data heterogeneity. To uphold privacy, we implement a secure client selection protocol leveraging homomorphic encryption, enabling precise global label statistics without disclosing sensitive client information. Extensive evaluations on MNIST, CIFAR-10, CIFAR-100, Tiny-ImageNet, COVTYPE, PACS, and Digits-DG demonstrate that Stratify attains performance comparable to IID baselines, accelerates convergence, and reduces client-side computation compared to state-of-the-art methods, underscoring its practical effectiveness in realistic federated learning scenarios.
• Abstract（参考訳）: 非独立かつ同一に分散された(非IID)データ上でのフェデレートラーニング(FL)は、既存のアプローチが厳しいデータの不均一性に苦しむため、依然として重要な課題である。 現在の方法では、設計上の制約を直接解決するのではなく、FedAvg(Federated Averaging)に漸進的な調整を適用することで、IID以外の症状に対処している。 その結果、多種多様なクラスや特徴分布に対する不均衡曝露の根本的な問題は未解決のままであり、高度不均一な条件下では性能が著しく低下する。 In this paper introduced the Stratify, a novel FL framework, designed to systemally management class and feature distributions through training, effectively tacking the root cause of non-IID challenges。 従来の階層化サンプリングにインスパイアされた本手法では,ラベル間のバランスの取れた露出を確保するためにSLS(Stratified Label Schedule)を用いて,集約された勾配のバイアスと分散を著しく低減する。 SLSを補完するラベル対応クライアント選択戦略を提案し、スケジュールされたラベルに関連するデータを持つクライアントのみへの参加を制限する。 さらに、Stratifyは微細で高周波な更新方式を採用し、収束を加速し、データの不均一性を緩和する。 プライバシーを守るために,同型暗号化を利用したセキュアなクライアント選択プロトコルを実装し,機密性の高いクライアント情報を開示することなく,正確なグローバルラベル統計を可能にする。 MNIST, CIFAR-10, CIFAR-100, Tiny-ImageNet, COVTYPE, PACS, Digits-DG の広範囲な評価により, Stratify が IID ベースラインに匹敵する性能を達成し, 収束を加速し, 最先端の手法と比較してクライアント側の計算を削減し, 現実的なフェデレート学習シナリオにおける実効性を実証した。

関連論文リスト

• Privacy Preserving and Robust Aggregation for Cross-Silo Federated Learning in Non-IID Settings [1.8434042562191815]
  フェデレーション平均化は、フェデレーション学習において最も広く使われているアグリゲーション戦略である。 私たちのメソッドは、追加のクライアントメタデータを不要にするため、グラデーション更新のみに依存しています。 本研究は, グラデーションマスキングの有効性を, フェデレート学習のための実用的でセキュアなソリューションとして確立した。
  論文  参考訳（メタデータ） (2025-03-06T14:06:20Z)
• Propensity-driven Uncertainty Learning for Sample Exploration in Source-Free Active Domain Adaptation [19.620523416385346]
  ソースフリーアクティブドメイン適応(SFADA)は、ソースデータにアクセスせずに、トレーニング済みのモデルを新しいドメインに適応するという課題に対処する。 このシナリオは、データプライバシ、ストレージ制限、ラベル付けコストが重要な懸念事項である現実世界のアプリケーションに特に関係している。 Propensity-driven Uncertainty Learning (ProULearn) フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-23T10:05:25Z)
• Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
  Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。 本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• FedAnchor: Enhancing Federated Semi-Supervised Learning with Label Contrastive Loss for Unlabeled Clients [19.3885479917635]
  Federated Learning(FL)は、デバイス間で共有されたグローバルモデルの協調トレーニングを促進する分散学習パラダイムである。 本稿では,サーバ上のラベル付きアンカーデータにのみ訓練された分類ヘッドと組み合わせて,アンカーヘッドと呼ばれるユニークな二重ヘッド構造を導入する,革新的なFSSL手法であるFedAnchorを提案する。 提案手法は, 高信頼度モデル予測サンプルに基づいて, 疑似ラベル技術に係わる検証バイアスと過度に適合する問題を緩和する。
  論文  参考訳（メタデータ） (2024-02-15T18:48:21Z)
• Model Stealing Attack against Graph Classification with Authenticity, Uncertainty and Diversity [80.16488817177182]
  GNNは、クエリ許可を通じてターゲットモデルを複製するための悪行であるモデル盗難攻撃に対して脆弱である。 異なるシナリオに対応するために,3つのモデルステルス攻撃を導入する。
  論文  参考訳（メタデータ） (2023-12-18T05:42:31Z)
• Exploiting Low-confidence Pseudo-labels for Source-free Object Detection [54.98300313452037]
  Source-free Object Detection (SFOD) は、ラベル付きソースデータにアクセスすることなく、未ラベルのターゲットドメインにソーストレーニングされた検出器を適応することを目的としている。 現在のSFOD法は適応相におけるしきい値に基づく擬似ラベル手法を用いる。 疑似ラベルを最大限に活用するために,高信頼度と低信頼度しきい値を導入する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T12:59:55Z)
• Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer [60.31021888394358]
  Unsupervised Domain Adaptation (UDA)は、現実世界の超解像(SR)における領域ギャップ問題に効果的に対処できる 本稿では,画像SR(SODA-SR)のためのSOurce-free Domain Adaptationフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-31T03:14:44Z)
• FedCC: Robust Federated Learning against Model Poisoning Attacks [0.0]
  フェデレートラーニング(Federated Learning)は、プライバシの問題に対処するために設計された分散フレームワークである。 新たなアタックサーフェスを導入しており、データは独立に、そしてIdentically Distributedである場合、特に困難である。 我々は,モデル中毒に対する簡易かつ効果的な新しい防御アルゴリズムであるFedCCを提案する。
  論文  参考訳（メタデータ） (2022-12-05T01:52:32Z)
• Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
  表情認識のためのSFUDA法を提案する。 本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。 提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-11T08:24:50Z)
• Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
  本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。 我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。 特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
  論文  参考訳（メタデータ） (2022-09-30T05:42:56Z)
• Uncertainty Minimization for Personalized Federated Semi-Supervised Learning [15.123493340717303]
  我々は,データ関連クライアント(ヘルパーエージェント)からのラベリング支援を部分的にラベル付けまたは未ラベルのクライアントが求めることのできる,新しい半教師付き学習パラダイムを提案する。 実験により,提案手法は部分ラベル付きデータを用いた他の関連する研究よりも優れた性能と安定な収束が得られることが示された。
  論文  参考訳（メタデータ） (2022-05-05T04:41:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。