論文の概要: Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2608.15660v1
• Date: Sun, 16 Aug 2026 10:08:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.379486
• Title: Adaptive Heterogeneous Compression for Resource-Efficient Federated Knowledge Distillation
• Title（参考訳）: 資源効率の良いフェデレーション知識蒸留のための適応的不均一圧縮
• Abstract要約: フェデレートラーニング(FL)は、プライバシを保存する分散モデルトレーニングを可能にするが、異種モデルアーキテクチャやネットワークエッジでの限られた通信リソースによる課題に直面している。 本稿では,各クライアントが候補集合から圧縮戦略を選択することができるFedKDのための異種圧縮フレームワークを提案する。 ASCENDは異種モデルと資源設定に効果的に適応し、通信オーバーヘッドと訓練時間を低減し、競合モデルの精度を維持できることを示す。
• 参考スコア（独自算出の注目度）: 15.300922734330271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) enables privacy-preserving distributed model training but faces challenges from heterogeneous model architectures and limited communication resources at the network edge. Federated knowledge distillation (FedKD) alleviates model heterogeneity by combining prototype-wise parameter aggregation and knowledge transfer across heterogeneous models. However, transmitting gradients still introduces considerable communication overhead, while existing compression approaches typically apply a uniform strategy across clients and ignore their diverse model characteristics and resource capacities. To address this issue, we propose a heterogeneous compression framework for FedKD that enables each client to select a compression strategy from a candidate strategy set. We formulate the compression strategy selection problem as a non-stationary stochastic multi-armed bandit (MAB), where each arm corresponds to a compression strategy. An efficiency-aware reward is designed by jointly considering local optimization improvement, global knowledge alignment, and execution time. Based on this formulation, we develop an Adaptive heterogeneouS Compression algorithm for fEderated kNowledge Distillation (ASCEND), which employs an exponential moving average (EMA)-enhanced $ε$-greedy policy to balance exploration and exploitation. Experimental results on multiple datasets demonstrate that ASCEND effectively adapts to heterogeneous model and resource settings, reducing communication overhead and training time while maintaining competitive model accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保存する分散モデルトレーニングを可能にするが、異種モデルアーキテクチャやネットワークエッジでの限られた通信リソースによる課題に直面している。 フェデレートド・ナレッジ・蒸留(FedKD)は、プロトタイプワイドパラメータ・アグリゲーションとヘテロジニアス・モデル間の知識伝達を組み合わせることで、モデルの不均一性を緩和する。 しかし、送信勾配は通信オーバーヘッドがかなり大きいのに対して、既存の圧縮手法では、クライアント間で均一な戦略を適用し、様々なモデル特性やリソース容量を無視する。 この問題に対処するため,我々はFedKDのための異種圧縮フレームワークを提案し,各クライアントが候補戦略セットから圧縮戦略を選択することができるようにした。 本研究では,非定常確率的マルチアームバンドイット (MAB) として圧縮戦略選択問題を定式化し,各アームが圧縮戦略に対応する。 局所最適化の改善、グローバル知識アライメント、実行時間などを共同で検討することにより、効率に配慮した報酬を設計する。 この定式化に基づいて,指数移動平均(EMA)を付したε$-greedyポリシを用いて探索と利用のバランスをとる,fEderated kNowledge Distillation (ASCEND) のためのAdaptive heterogeneouS Compressionアルゴリズムを開発した。 複数のデータセットに対する実験結果から、ASCENDは異種モデルとリソース設定に効果的に適応し、通信オーバーヘッドとトレーニング時間を低減し、競合モデルの精度を維持していることが示された。

関連論文リスト

• Policy-based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards [16.135177543347773]
  自己回帰モデル(AR)は画像生成に非常に効果的であるが、標準の最大形推定トレーニングではサンプルの品質と多様性を直接最適化することができない。 本稿では,トークンベースのAR推論をマルコフ決定プロセスとして,グループ相対ポリシー最適化によって最適化した軽量なRLフレームワークを提案する。 私たちの中核的な貢献は、新しい流通レベルのLeave-One-Out FID(LOO-FID)の報酬の導入です。
  論文  参考訳（メタデータ） (2026-03-24T11:28:36Z)
• GO-GenZip: Goal-Oriented Generative Sampling and Hybrid Compression [50.76941829813458]
  現在のネットワークデータテレメトリパイプラインは、複数の分散ソースから中央アグリゲータへの、きめ細かいキーパフォーマンス指標(KPI)の巨大なストリームで構成されている。 本研究は、目標指向の観点からネットワークテレメトリを再設計する、ジェネレーティブAI(GenAI)駆動サンプリングとハイブリッド圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-20T16:33:15Z)
• Deep Leakage with Generative Flow Matching Denoiser [54.05993847488204]
  再建プロセスに先立って生成フローマッチング(FM)を組み込んだ新しい深部リーク攻撃(DL)を導入する。 当社のアプローチは、ピクセルレベル、知覚的、特徴に基づく類似度測定において、最先端の攻撃よりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-21T14:51:01Z)
• Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients [60.22876915395139]
  本稿では、異種・データ破損クライアントをモデルとした頑健な連立学習課題について検討する。 データ破損は、ランダムノイズ、圧縮アーティファクト、現実のデプロイメントにおける環境条件などの要因によって避けられない。 本稿では,これらの問題に対処する新しいロバスト非対称不均一なフェデレート学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T09:52:04Z)
• FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [11.913924455236652]
  フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。 現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。 我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
  論文  参考訳（メタデータ） (2025-01-31T13:26:22Z)
• HeteroTune: Efficient Federated Learning for Large Heterogeneous Models [35.53420882449293]
  HeteroTuneは,限られた通信と予算の下で動作する大規模異種モデルのための,新しいファインチューニングパラダイムである。 我々の手法のコアは、異種モデルの柔軟かつ効率的な集約を可能にする新しいアーキテクチャであるDeMAにある。 We provide the theory analysis and empirical evidence shows that HeteroTune achieves state-of-the-art performance and efficiency across various task and model architectures。
  論文  参考訳（メタデータ） (2024-11-25T09:58:51Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning [28.185096784982544]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを公開せずに協調的にモデルを訓練することを可能にする。 我々はFedCGと呼ばれる不均一なFLフレームワークを提案し、適応的なクライアント選択と勾配圧縮を行う。 実世界のプロトタイプとシミュレーションの両方の実験により、FedCGは他の方法と比較して最大5.3$times$ Speedupを提供できることが示された。
  論文  参考訳（メタデータ） (2022-12-19T14:19:07Z)
• Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
  本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。 我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
  論文  参考訳（メタデータ） (2021-12-03T19:23:48Z)
• Deceive D: Adaptive Pseudo Augmentation for GAN Training with Limited Data [125.7135706352493]
  GAN(Generative Adversarial Network)は、高忠実度画像を合成するために、訓練に十分なデータを必要とする。 近年の研究では、差別者の過度な適合により、限られたデータでGANを訓練することは困難であることが示されている。 本稿では,APA (Adaptive Pseudo Augmentation) と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-12T18:13:45Z)
• Communication-Compressed Adaptive Gradient Method for Distributed Nonconvex Optimization [21.81192774458227]
  主なボトルネックの1つは、中央サーバとローカルワーカーの間の通信コストが大きいことである。 提案する分散学習フレームワークは,効果的な勾配勾配圧縮戦略を特徴とする。
  論文  参考訳（メタデータ） (2021-11-01T04:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。