論文の概要: Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation

• arxiv url: http://arxiv.org/abs/2412.15010v1
• Date: Thu, 19 Dec 2024 16:22:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 18:44:16.204443
• Title: Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation
• Title（参考訳）: 共変量シフトに直面するロバストなフェデレーション学習--モデル集約強化のためのハイブリッド正規化フレームワークによるマグニチュード・プルーニング
• Authors: Ozgu Goksu, Nicolas Pugeault,
• Abstract要約: Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。 本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.519321208145928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The development of highly sophisticated neural networks has allowed for fast progress in every field of computer vision, however, applications where annotated data is prohibited due to privacy or security concerns remain challenging. Federated Learning (FL) offers a promising framework for individuals aiming to collaboratively develop a shared model while preserving data privacy. Nevertheless, our findings reveal that variations in data distribution among clients can profoundly affect FL methodologies, primarily due to instabilities in the aggregation process. We also propose a novel FL framework to mitigate the adverse effects of covariate shifts among federated clients by combining individual parameter pruning and regularization techniques to improve the robustness of individual clients' models to aggregate. Each client's model is optimized through magnitude-based pruning and the addition of dropout and noise injection layers to build more resilient decision pathways in the networks and improve the robustness of the model's parameter aggregation step. The proposed framework is capable of extracting robust representations even in the presence of very large covariate shifts among client data distributions and in the federation of a small number of clients. Empirical findings substantiate the effectiveness of our proposed methodology across common benchmark datasets, including CIFAR10, MNIST, SVHN, and Fashion MNIST. Furthermore, we introduce the CelebA-Gender dataset, specifically designed to evaluate performance on a more realistic domain. The proposed method is capable of extracting robust representations even in the presence of both high and low covariate shifts among client data distributions.
• Abstract（参考訳）: 高度に洗練されたニューラルネットワークの開発は、コンピュータビジョンのあらゆる分野において急速に進歩している。 Federated Learning(FL)は、データのプライバシを保持しながら、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 いずれにせよ, クライアント間のデータ分散の変化は, 集約プロセスの不安定性に起因するFL手法に大きく影響することが明らかとなった。 また,各パラメータのプルーニングと正規化技術を組み合わせて,各クライアントモデルが集約するロバスト性を改善することにより,フェデレートクライアント間の共変量シフトの悪影響を軽減する新しいFLフレームワークを提案する。 各クライアントのモデルは、マグニチュードベースのプルーニングと、ドロップアウト層とノイズ注入層の追加によって最適化され、ネットワーク内でより回復力のある決定経路を構築し、モデルのパラメータ集約ステップの堅牢性を改善する。 提案するフレームワークは,クライアントデータ分布に非常に大きな共変量シフトが存在する場合や,少数のクライアントのフェデレーションにおいても,ロバストな表現を抽出することができる。 CIFAR10、MNIST、SVHN、Fashion MNISTなど、一般的なベンチマークデータセットで提案手法の有効性を実証した。 さらに,より現実的なドメインの性能評価を目的としたCelebA-Genderデータセットについても紹介する。 提案手法は,クライアントデータ分布間の高次および低次共変量シフトが存在する場合でも,ロバストな表現を抽出することができる。

関連論文リスト

• Boosting Generalization Performance in Model-Heterogeneous Federated Learning Using Variational Transposed Convolution [0.27309692684728615]
  Federated Learning(FL)は、分散クライアントがローカルデータを効率的に処理できるようにする、先駆的な機械学習パラダイムである。 従来のモデル均質なアプローチは、主に局所的なトレーニング手順を正規化したり、集約においてクライアントの重みを動的に調整したりする。 モデルアグリゲーションなしで未確認データに対するクライアントの一般化性能を向上させるモデル不均一FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-03T08:55:18Z)
• Dynamic Clustering for Personalized Federated Learning on Heterogeneous Edge Devices [10.51330114955586]
  フェデレートラーニング(FL)は、エッジデバイスがグローバルモデルを協調的に学習することを可能にする。 パーソナライズド・フェデレーション・ラーニング・システム(DC-PFL)のための動的クラスタリングアルゴリズムを提案する。 また,DC-PFLはトレーニング時間を大幅に短縮し,ベースラインに比べてモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2025-08-03T04:19:22Z)
• Sociodynamics-inspired Adaptive Coalition and Client Selection in Federated Learning [39.58317527488534]
  本稿では,時間的ソーシャルネットワーク上での意見ダイナミクスに着想を得た分散推論アルゴリズムであるショートネーム(Federated Coalition Variance Reduction with Boltzmann Exploration)を紹介する。 実験により、不均一なシナリオでは、我々のアルゴリズムは既存のFLアルゴリズムより優れており、より正確な結果とより高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:04:31Z)
• FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。 本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T04:49:40Z)
• HFedCKD: Toward Robust Heterogeneous Federated Learning via Data-free Knowledge Distillation and Two-way Contrast [10.652998357266934]
  データフリーな知識蒸留と双方向コントラスト(HFedCKD)に基づくヘテロジニアスフェデレーション方式を提案する。 HFedCKDは、データフリーな知識蒸留における低い参加率による知識オフセットを効果的に軽減し、モデルの性能と安定性を向上させる。 我々は画像とIoTデータセットに関する広範な実験を行い、提案したHFedCKDフレームワークの一般化と堅牢性を包括的に評価し、検証する。
  論文  参考訳（メタデータ） (2025-03-09T08:32:57Z)
• FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [12.067872131025231]
  フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。 現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。 我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
  論文  参考訳（メタデータ） (2025-01-31T13:26:22Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• FedDUAL: A Dual-Strategy with Adaptive Loss and Dynamic Aggregation for Mitigating Data Heterogeneity in Federated Learning [12.307490659840845]
  フェデレートラーニング(FL)は、様々なクライアントからローカルに最適化されたモデルと、統一されたグローバルモデルを組み合わせる。 FLは、性能劣化、収束の遅さ、グローバルモデルの堅牢性低下など、重大な課題に直面している。 これらの問題を効果的に解決するために、革新的なデュアルストラテジーアプローチを導入する。
  論文  参考訳（メタデータ） (2024-12-05T18:42:29Z)
• An Architecture Built for Federated Learning: Addressing Data Heterogeneity through Adaptive Normalization-Free Feature Recalibration [0.3481075494213406]
  We propose Adaptive Normalization-free Feature Recalibration (ANFR) to combat heterogeneous data in Federated Learning (FL)。 ANFRは、ウェイト標準化とチャネルアテンションを組み合わせて、特徴マップの学習可能なスケーリング要素を生成する。 実験により、ANFRは様々なアグリゲーション法で確立されたベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2024-10-02T20:16:56Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
  多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。 我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。 FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-03T15:48:14Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。 本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。 我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
  論文  参考訳（メタデータ） (2022-01-25T04:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。