論文の概要: FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning

• arxiv url: http://arxiv.org/abs/2603.04422v1
• Date: Sun, 15 Feb 2026 01:40:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.199738
• Title: FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning
• Title（参考訳）: FedEMA-Distill:ロバストなフェデレーション学習のための平均知識蒸留法
• Authors: Hamza Reguieg, Mohamed El Kamili, Essaid Sabir,
• Abstract要約: フェデレーテッド・ラーニング(FL)は、クライアントが不均一な非独立性(non-Independent)およびIdentically Distributed(non-IID)データを保持すると、しばしば劣化する。 本稿では,グローバルモデルの指数移動平均(EMA)とクライアント負荷予測ロジットからのアンサンブル知識蒸留を組み合わせたサーバサイドプロシージャであるFedEMA-Distillを提案する。
• 参考スコア（独自算出の注目度）: 1.1393603788068776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) often degrades when clients hold heterogeneous non-Independent and Identically Distributed (non-IID) data and when some clients behave adversarially, leading to client drift, slow convergence, and high communication overhead. This paper proposes FedEMA-Distill, a server-side procedure that combines an exponential moving average (EMA) of the global model with ensemble knowledge distillation from client-uploaded prediction logits evaluated on a small public proxy dataset. Clients run standard local training, upload only compressed logits, and may use different model architectures, so no changes are required to client-side software while still supporting model heterogeneity across devices. Experiments on CIFAR-10, CIFAR-100, FEMNIST, and AG News under Dirichlet-0.1 label skew show that FedEMA-Distill improves top-1 accuracy by several percentage points (up to +5% on CIFAR-10 and +6% on CIFAR-100) over representative baselines, reaches a given target accuracy in 30-35% fewer communication rounds, and reduces per-round client uplink payloads to 0.09-0.46 MB, i.e., roughly an order of magnitude less than transmitting full model weights. Using coordinate-wise median or trimmed-mean aggregation of logits at the server further stabilizes training in the presence of up to 10-20% Byzantine clients and yields well-calibrated predictions under attack. These results indicate that coupling temporal smoothing with logits-only aggregation provides a communication-efficient and attack-resilient FL pipeline that is deployment-friendly and compatible with secure aggregation and differential privacy, since only aggregated or obfuscated model outputs are exchanged.
• Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、クライアントが不均一で独立性のない分散(非IID)データを保持し、一部のクライアントが逆向きに振る舞うと、クライアントのドリフト、収束の遅い、通信オーバーヘッドが高くなると、しばしば劣化する。 本稿では,グローバルモデルの指数的移動平均(EMA)と,小規模な公開プロキシデータセットで評価したクライアント負荷予測ロジットからのアンサンブル知識蒸留を組み合わせたサーバサイドプロシージャであるFedEMA-Distillを提案する。 クライアントは標準的なローカルトレーニングを実行し、圧縮されたログのみをアップロードし、異なるモデルアーキテクチャを使用する可能性がある。 CIFAR-10、CIFAR-100、FEMNIST、AG Newsのディリクレ0.1ラベルスキューによる実験では、FedEMA-Distillは代表ベースラインよりもいくつかのポイント(CIFAR-10で+5%、CIFAR-100で+6%)でトップ1の精度を向上し、30-35%の通信ラウンドで目標の精度に達した。 サーバにおけるロジットの座標的な中央値あるいはトリミング平均値の集約を使用することで、最大10～20%のビザンティンクライアントの存在下でのトレーニングをさらに安定化し、攻撃中の十分な校正された予測が得られる。 これらの結果から,ロジットのみのアグリゲーションと時間的スムージングを結合することで,セキュアなアグリゲーションとディファレンシャルプライバシに適合する通信効率とアタック耐性のFLパイプラインが実現された。

関連論文リスト

• Prediction-space knowledge markets for communication-efficient federated learning on multimedia tasks [0.0]
  フェデレートラーニング(FL)は、分散マルチメディアデータによる協調トレーニングを可能にする。 FLの予測空間知識取引市場であるKTA v2を提案する。 FEMNIST、CIFAR-10、AG Newsの実験では、KTA v2はローカルのみのベースラインと強力なパラメータベースの手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-11-30T11:24:19Z)
• FedSkipTwin: Digital-Twin-Guided Client Skipping for Communication-Efficient Federated Learning [2.209918162717035]
  コミュニケーションのオーバーヘッドは、連邦学習(FL)における主要なボトルネックである。 この研究は、軽量でサーバーサイドのデジタルツインによって駆動される新しいクライアントスキッピングアルゴリズムであるFedSkipTwinを紹介する。 UCI-HARおよびMNISTデータセットに対して,非IIDデータ分散下で10クライアントで実験を行った。
  論文  参考訳（メタデータ） (2025-07-18T03:39:08Z)
• FedAR: Addressing Client Unavailability in Federated Learning with Local Update Approximation and Rectification [8.747592727421596]
  フェデレートラーニング(FL)は、クライアントがサーバの調整の下で機械学習モデルを協調的にトレーニングすることを可能にする。 FedARは、すべてのクライアントをグローバルモデルアップデートに参加させて、サーバ上の高品質なグローバルモデルを達成することができます。 FedARはまた、多くのクライアントが存在し、クライアントが利用できないという印象的なパフォーマンスを描いている。
  論文  参考訳（メタデータ） (2024-07-26T21:56:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedCode: Communication-Efficient Federated Learning via Transferring Codebooks [3.004066195320147]
  Federated Learning(FL)は、分散機械学習パラダイムで、分散ローカルデータからモデルを学ぶことができる。 既存のアプローチは、これに対処するためにプルーニングや重みクラスタリングのようなモデル圧縮技術に依存している。 我々は、クライアントがコードブックのみを送信するFedCodeを提案する。
  論文  参考訳（メタデータ） (2023-11-15T12:06:32Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。