論文の概要: Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation

• arxiv url: http://arxiv.org/abs/2504.19602v2
• Date: Thu, 01 May 2025 00:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.376511
• Title: Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation
• Title（参考訳）: コミュニケーション効率の良いフェデレート蒸留のためのソフトラベルキャッシングとシャープニング
• Authors: Kitsuya Azuma, Takayuki Nishio, Yuichi Kitagawa, Wakako Nakano, Takahito Tanimura,
• Abstract要約: フェデレートラーニング(FL)は、分散クライアント間のコラボレーティブモデルトレーニングを可能にし、データをローカルに保つことでプライバシを向上する。 同期ソフトラベルキャッシングと拡張エントロピー削減アグリゲーション(Enhanced ERA)機構を統合した新しいフレームワークであるSCARLETを提案する。 SCARLETはキャッシュされたソフトラベルを再利用することで冗長な通信を最小化し、既存の方法と比較して最大50%の通信コスト削減を実現している。
• 参考スコア（独自算出の注目度）: 2.1617267802631366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) enables collaborative model training across decentralized clients, enhancing privacy by keeping data local. Yet conventional FL, relying on frequent parameter-sharing, suffers from high communication overhead and limited model heterogeneity. Distillation-based FL approaches address these issues by sharing predictions (soft-labels) instead, but they often involve redundant transmissions across communication rounds, reducing efficiency. We propose SCARLET, a novel framework integrating synchronized soft-label caching and an enhanced Entropy Reduction Aggregation (Enhanced ERA) mechanism. SCARLET minimizes redundant communication by reusing cached soft-labels, achieving up to 50% reduction in communication costs compared to existing methods while maintaining accuracy. Enhanced ERA can be tuned to adapt to non-IID data variations, ensuring robust aggregation and performance in diverse client scenarios. Experimental evaluations demonstrate that SCARLET consistently outperforms state-of-the-art distillation-based FL methods in terms of accuracy and communication efficiency. The implementation of SCARLET is publicly available at https://github.com/kitsuyaazuma/SCARLET.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散クライアント間のコラボレーティブモデルトレーニングを可能にし、データをローカルに保つことでプライバシを向上する。 しかし、従来のFLはパラメータ共有に頻繁に依存しており、高い通信オーバーヘッドと限られたモデルの不均一性に悩まされている。 蒸留に基づくFLアプローチは、代わりに予測(ソフトラベル)を共有することでこれらの問題に対処するが、通信ラウンド間で冗長な送信を伴って効率を低下させることが多い。 同期ソフトラベルキャッシングと拡張エントロピー削減アグリゲーション(Enhanced ERA)機構を統合した新しいフレームワークであるSCARLETを提案する。 SCARLETはキャッシュされたソフトラベルを再利用することで冗長な通信を最小化し、精度を維持しながら既存の方法と比較して通信コストを最大50%削減する。 拡張ERAは非IIDデータに適応するように調整することができ、多様なクライアントシナリオで堅牢なアグリゲーションとパフォーマンスを確保することができる。 実験により、SCARLETは、精度と通信効率の観点から、最先端蒸留方式のFL法を一貫して上回っていることが示された。 SCARLETの実装はhttps://github.com/kitsuyaazuma/SCARLET.comで公開されている。

関連論文リスト

• LATTEO: A Framework to Support Learning Asynchronously Tempered with Trusted Execution and Obfuscation [6.691450146654845]
  本稿では,ネットワークエッジにおける非同期FLアグリゲーションをセキュアにするための,勾配難読化機構とTEE(Trusted Execution Environments)を組み合わせたプライバシー保護フレームワークを提案する。 我々のメカニズムは、クライアントが暗黙的にTEEベースのアグリゲーションサービスを確認し、オンデマンドのクライアント参加を効果的に処理し、非同期接続の増加とともにシームレスにスケールできるようにする。
  論文  参考訳（メタデータ） (2025-02-07T01:21:37Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [56.21666819468249]
  フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。 我々は,emphScaffnewに実用的で効果的な圧縮を統合し,通信効率を向上するFedComLocを紹介した。
  論文  参考訳（メタデータ） (2024-03-14T22:29:59Z)
• Communication-Efficient Federated Learning through Adaptive Weight Clustering and Server-Side Distillation [10.541541376305245]
  Federated Learning(FL)は、複数のデバイスにわたるディープニューラルネットワークの協調トレーニングのための有望なテクニックである。 FLは、トレーニング中に繰り返しサーバー・クライアント間の通信によって、過剰な通信コストによって妨げられる。 本稿では,動的重みクラスタリングとサーバ側知識蒸留を組み合わせた新しいアプローチであるFedCompressを提案する。
  論文  参考訳（メタデータ） (2024-01-25T14:49:15Z)
• AEDFL: Efficient Asynchronous Decentralized Federated Learning with Heterogeneous Devices [61.66943750584406]
  異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。 まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。 次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。 第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
  論文  参考訳（メタデータ） (2023-12-18T05:18:17Z)
• Asynchronous Online Federated Learning with Reduced Communication Requirements [6.282767337715445]
  通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-27T14:06:05Z)
• Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity [60.791736094073]
  通信オーバーヘッドは、ディープニューラルネットワークの分散トレーニングにおいて、大きなボトルネックのひとつになっています。 本稿では,SIGNSGDの非収束問題に対処する等級化方式を提案する。 提案手法は,Fashion-MNIST, CIFAR-10, CIFAR-100データセットを用いて検証した。
  論文  参考訳（メタデータ） (2023-02-19T17:42:35Z)
• HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse [49.1501082763252]
  本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。 動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。 そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。 ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
  論文  参考訳（メタデータ） (2022-11-07T04:33:24Z)
• SAFARI: Sparsity enabled Federated Learning with Limited and Unreliable Communications [23.78596067797334]
  フェデレートラーニング(FL)は、エッジデバイスが分散形式でモデルを協調的に学習することを可能にする。 そこで本稿では,SAFARIと呼ばれる通信効率とバイアス低減の両面を兼ね備えたFLフレームワークを提案する。 信頼性の低い通信によって生じるバイアスを補正し、補償するために、クライアントモデル間に新しい類似性を利用する。
  論文  参考訳（メタデータ） (2022-04-05T16:26:36Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• FedAT: A High-Performance and Communication-Efficient Federated Learning System with Asynchronous Tiers [22.59875034596411]
  非i.d.データに基づく非同期タイアを用いた新しいフェデレーション学習手法であるFederated Learning法であるFedATを提案する。 FedATは、収束速度とテスト精度を改善したストラグラー効果を最小化する。 その結果、FedATは予測性能を最大21.09%改善し、最先端FL法と比較して通信コストを最大8.5倍削減した。
  論文  参考訳（メタデータ） (2020-10-12T18:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。