論文の概要: Optimized Federated Knowledge Distillation with Distributed Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2605.21322v1
• Date: Wed, 20 May 2026 15:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.763827
• Title: Optimized Federated Knowledge Distillation with Distributed Neural Architecture Search
• Title（参考訳）: 分散ニューラルネットワーク探索による最適フェデレーション知識蒸留
• Authors: Chaimaa Medjadji, Sylvain Kubler, Yves Le Traon, Guilain Leduc, Sadi Alawadi, Feras M. Awaysheh,
• Abstract要約: フェデレートラーニング(FL)は、データを集中せずに協調的なモデルトレーニングを可能にする。 既存のFLアプローチは、集約、パーソナライゼーション、知識蒸留の改善を通じてこれらの課題を軽減する。 この研究は、クライアント側ニューラルアーキテクチャ選択とサーバ協調知識の蒸留を組み合わせた蒸留駆動FLフレームワークであるFedKDNASを紹介する。
• 参考スコア（独自算出の注目度）: 7.461859467262201
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning (FL) enables collaborative model training without centralizing data. However, real-world deployments must simultaneously address statistical heterogeneity across client data (non-IID), system heterogeneity in device capabilities, and communication efficiency. Existing FL approaches mitigate these challenges through improved aggregation, personalization, or knowledge distillation, but they almost universally assume a fixed client architecture, limiting adaptability to heterogeneous data complexity and hardware constraints. This architectural constraint often leads to suboptimal trade-offs between accuracy and efficiency in real-world FL systems. This work introduces FedKDNAS, a distillation-driven FL framework that combines client-side neural architecture selection with distillation of server-coordinated knowledge. Each client autonomously selects a lightweight model under accuracy-resource constraints. It then trains it locally using a hybrid objective combining supervised learning and knowledge distillation and shares only predictions on a public reference set. The server then aggregates and smooths these predictions, optionally combining them with a teacher model, to produce stable distillation targets for the next round. Extensive evaluation on six datasets against six representative FL baselines (FedAvg, Ditto, FedMD, FedDF, FedDistill, Local-KD) demonstrates that FedKDNAS consistently achieves superior Pareto efficiency, improving accuracy by up to 15\% under non-IID conditions, reducing client CPU usage by approximately 28\%, and decreasing communication overhead by up to 44 times while maintaining lightweight logit-based communication.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データを集中せずに協調的なモデルトレーニングを可能にする。 しかし、実世界のデプロイメントは、クライアントデータ(非IID)、デバイス機能におけるシステム不均一性、通信効率を同時に扱う必要がある。 既存のFLアプローチは、集約、パーソナライゼーション、知識蒸留の改善を通じてこれらの課題を軽減するが、それらはほぼ普遍的に固定されたクライアントアーキテクチャを前提としており、不均一なデータ複雑さとハードウェアの制約への適応性を制限している。 このアーキテクチャ上の制約はしばしば、現実世界のFLシステムの精度と効率のトレードオフをもたらす。 この研究は、クライアント側ニューラルアーキテクチャ選択とサーバ協調知識の蒸留を組み合わせた蒸留駆動FLフレームワークであるFedKDNASを紹介する。 各クライアントは、精度とリソースの制約の下で、自律的に軽量モデルを選択する。 その後、教師付き学習と知識蒸留を組み合わせたハイブリッドな目的を用いて局所的に学習し、公開参照セットでのみ予測を共有する。 次にサーバはこれらの予測を集約し、スムーズにし、オプションで教師モデルと組み合わせ、次のラウンドで安定した蒸留ターゲットを生成する。 6つのFLベースライン(FedAvg,Ditto,FedMD,FedDistill,Local-KD)に対して,FedKDNASが一貫して優れたパレート効率を実現し,非IID条件下では最大15倍の精度向上,クライアントCPU使用率約28倍の削減,通信オーバーヘッドの最大44倍の削減を実現している。

関連論文リスト

• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• Data-Free Black-Box Federated Learning via Zeroth-Order Gradient Estimation [5.342190657553561]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバのオーケストレーションの下でグローバルモデルを協調的にトレーニングすることを可能にする。 ゼロ階勾配推定(FedZGE)によるデータフリーでブラックボックスなFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-08T03:00:01Z)
• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Tackling Intertwined Data and Device Heterogeneities in Federated Learning with Unlimited Staleness [4.9851737525099225]
  フェデレートラーニングは、クライアントの異なるローカルデータ分散と、モデルの更新をアップロードする際のレイテンシに起因する、データとデバイスの不均一性によって影響を受ける可能性がある。 本稿では,この変換の精度と計算効率を保証する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-24T03:19:40Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。