論文の概要: Boosting Generalization Performance in Model-Heterogeneous Federated Learning Using Variational Transposed Convolution
- arxiv url: http://arxiv.org/abs/2508.01669v1
- Date: Sun, 03 Aug 2025 08:55:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:21.998518
- Title: Boosting Generalization Performance in Model-Heterogeneous Federated Learning Using Variational Transposed Convolution
- Title（参考訳）: 変分変換畳み込みを用いたモデル不均一フェデレーション学習における一般化性能の向上
- Authors: Ziru Niu, Hai Dong, A. K. Qin,
- Abstract要約: Federated Learning(FL)は、分散クライアントがローカルデータを効率的に処理できるようにする、先駆的な機械学習パラダイムである。
従来のモデル均質なアプローチは、主に局所的なトレーニング手順を正規化したり、集約においてクライアントの重みを動的に調整したりする。
モデルアグリゲーションなしで未確認データに対するクライアントの一般化性能を向上させるモデル不均一FLフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 0.27309692684728615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a pioneering machine learning paradigm that enables distributed clients to process local data effectively while ensuring data privacy. However, the efficacy of FL is usually impeded by the data heterogeneity among clients, resulting in local models with low generalization performance. To address this problem, traditional model-homogeneous approaches mainly involve debiasing the local training procedures with regularization or dynamically adjusting client weights in aggregation. Nonetheless, these approaches become incompatible for scenarios where clients exhibit heterogeneous model architectures. In this paper, we propose a model-heterogeneous FL framework that can improve clients' generalization performance over unseen data without model aggregation. Instead of model parameters, clients exchange the feature distributions with the server, including the mean and the covariance. Accordingly, clients train a variational transposed convolutional (VTC) neural network with Gaussian latent variables sampled from the feature distributions, and use the VTC model to generate synthetic data. By fine-tuning local models with the synthetic data, clients significantly increase their generalization performance. Experimental results show that our approach obtains higher generalization accuracy than existing model-heterogeneous FL frameworks, as well as lower communication costs and memory consumption
- Abstract（参考訳）: Federated Learning(FL)は、分散クライアントがデータのプライバシを確保しながら、ローカルデータを効率的に処理できるようにする、先駆的な機械学習パラダイムである。
しかし、FLの有効性は通常、クライアント間のデータ不均一性によって妨げられ、一般化性能の低い局所モデルとなる。
この問題を解決するために、従来のモデル均質なアプローチは、主に局所的なトレーニング手順を正規化したり、集約のクライアント重みを動的に調整したりする。
それでもこれらのアプローチは、クライアントが異質なモデルアーキテクチャを示すシナリオでは互換性がありません。
本稿では,モデルアグリゲーションなしでクライアントの一般化性能を向上させるモデルヘテロジニアスFLフレームワークを提案する。
モデルパラメータの代わりに、クライアントは平均値と共分散値を含む特徴分散をサーバと交換する。
したがって、クライアントは特徴分布からサンプリングされたガウス潜在変数で変分変換畳み込み(VTC)ニューラルネットワークを訓練し、VTCモデルを使用して合成データを生成する。
局所モデルを合成データで微調整することにより、クライアントはその一般化性能を著しく向上させる。
実験結果から,本手法は既存のモデル不均一FLフレームワークよりも高い一般化精度を示し,通信コストとメモリ消費を低減した。
関連論文リスト
- Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - One-Shot Heterogeneous Federated Learning with Local Model-Guided Diffusion Models [40.83058938096914]
FedLMGは局所モデル誘導拡散モデルを用いた単発フェデレーション学習法である。
クライアントはファンデーションモデルにアクセスする必要はなく、ローカルモデルのトレーニングとアップロードのみを行う。
論文 参考訳（メタデータ） (2023-11-15T11:11:25Z) - Tackling Intertwined Data and Device Heterogeneities in Federated Learning with Unlimited Staleness [4.9851737525099225]
フェデレートラーニングは、クライアントの異なるローカルデータ分散と、モデルの更新をアップロードする際のレイテンシに起因する、データとデバイスの不均一性によって影響を受ける可能性がある。
本稿では,この変換の精度と計算効率を保証する新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-24T03:19:40Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳（メタデータ） (2023-05-31T07:00:42Z) - Is Aggregation the Only Choice? Federated Learning via Layer-wise Model Recombination [33.12164201146458]
我々はFedMR(Federated Model Recombination)という新しいFLパラダイムを提案する。
FedMRの目標は、フラットな領域に向けてトレーニングされる組換えモデルをガイドすることである。
最先端のFL手法と比較して、FedMRは各クライアントのプライバシを公開することなく、推論精度を大幅に向上させることができる。
論文 参考訳（メタデータ） (2023-05-18T05:58:24Z) - Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。
疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。
我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文 参考訳（メタデータ） (2023-05-04T12:21:34Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。