論文の概要: FedCache 2.0: Exploiting the Potential of Distilled Data in Knowledge Cache-driven Federated Learning

• arxiv url: http://arxiv.org/abs/2405.13378v1
• Date: Wed, 22 May 2024 06:19:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-25 01:14:40.759968
• Title: FedCache 2.0: Exploiting the Potential of Distilled Data in Knowledge Cache-driven Federated Learning
• Title（参考訳）: FedCache 2.0:知識キャッシュ駆動型フェデレーションラーニングにおける蒸留データの可能性の爆発
• Authors: Quyang Pan, Sheng Sun, Zhiyuan Wu, Yuwei Wang, Min Liu, Bo Gao,
• Abstract要約: Federated Edge Learning (FEL)は、エッジデバイスが機械学習モデルを協調的にトレーニングできるようにするための、有望なアプローチとして登場した。 その利点にもかかわらず、実用的なFELデプロイメントは、デバイス制約やデバイスサーバ間のインタラクションに関連する重大な課題に直面している。 FedCache 2.0は、これらの課題に同時に対処する、新しいパーソナライズされたFELアーキテクチャである。
• 参考スコア（独自算出の注目度）: 10.747983978475347
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Edge Learning (FEL) has emerged as a promising approach for enabling edge devices to collaboratively train machine learning models while preserving data privacy. Despite its advantages, practical FEL deployment faces significant challenges related to device constraints and device-server interactions, necessitating heterogeneous, user-adaptive model training with limited and uncertain communication. In this paper, we introduce FedCache 2.0, a novel personalized FEL architecture that simultaneously addresses these challenges. FedCache 2.0 incorporates the benefits of both dataset distillation and knowledge cache-driven federated learning by storing and organizing distilled data as knowledge in the server-side knowledge cache. Moreover, a device-centric cache sampling strategy is introduced to tailor transferred knowledge for individual devices within controlled communication bandwidth. Extensive experiments on five datasets covering image recognition, audio understanding, and mobile sensor data mining tasks demonstrate that (1) FedCache 2.0 significantly outperforms state-of-the-art methods regardless of model structures, data distributions, and modalities. (2) FedCache 2.0 can train splendid personalized on-device models with at least $\times$28.6 improvement in communication efficiency.
• Abstract（参考訳）: Federated Edge Learning (FEL)は、エッジデバイスがデータのプライバシを保持しながら機械学習モデルを協調的にトレーニング可能にするための、有望なアプローチとして登場した。 その利点にもかかわらず、実用的なFELデプロイメントはデバイス制約やデバイスとサーバのインタラクションに関連する重大な課題に直面し、不均一で不確実な通信を伴うユーザ適応型モデルトレーニングを必要とします。 本稿では,FedCache 2.0について紹介する。FedCache 2.0は,これらの課題に同時に対処する,新規なパーソナライズされたFELアーキテクチャである。 FedCache 2.0は、データセットの蒸留と知識キャッシュ駆動のフェデレーション学習の両方の利点を、サーバサイドのナレッジキャッシュに、蒸留データを知識として格納し、整理することで生かしている。 さらに、制御された通信帯域内で個々のデバイスに対して転送された知識を調整するために、デバイス中心のキャッシュサンプリング戦略を導入する。 画像認識,音声理解,およびモバイルセンサデータマイニングタスクを含む5つのデータセットに対する大規模な実験により,(1)FedCache 2.0は,モデル構造,データ分布,モダリティに関わらず,最先端の手法を著しく上回っていることが示された。 2) FedCache 2.0は、少なくとも$\times$28.6の通信効率改善で、すばらしいパーソナライズされたオンデバイスモデルをトレーニングできる。

関連論文リスト

• Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
  我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。 信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
  論文  参考訳（メタデータ） (2024-06-29T02:40:28Z)
• Leveraging Federated Learning and Edge Computing for Recommendation Systems within Cloud Computing Networks [3.36271475827981]
  エッジインテリジェンスの鍵となる技術は、フェデレートラーニング(FL)として知られる、プライバシ保護機械学習パラダイムである。 ノード障害とデバイス終了を減らすため、階層的フェデレートラーニング(HFL)フレームワークが提案され、指定されたクラスタリーダが中間モデルアグリゲーションを通じてデータオーナをサポートする。 ユーザエクスペリエンスの品質(QoE)に対するソフトクリックの影響を軽減するため、著者らは、ユーザQoEを包括的なシステムコストとしてモデル化した。
  論文  参考訳（メタデータ） (2024-03-05T17:58:26Z)
• FedD2S: Personalized Data-Free Federated Knowledge Distillation [19.975420988169454]
  本稿では,知識蒸留を活用した個人化フェデレートラーニング(pFL)のためのFedD2Sという新しい手法を提案する。 FedD2Sは、データフリーな知識蒸留プロセスにディープ・ツー・シャロー・レイヤ・ドロップング機構を組み込んで、局所モデルパーソナライズを強化している。 提案手法は,クライアント間の収束の高速化と公平性の向上を特徴とする,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-16T17:36:51Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Applied Federated Learning: Architectural Design for Robust and Efficient Learning in Privacy Aware Settings [0.8454446648908585]
  古典的な機械学習パラダイムは、中央にユーザーデータの集約を必要とする。 データの集中化は、内部および外部のセキュリティインシデントのリスクを高めることを含むリスクを引き起こす。 差分プライバシーによるフェデレーション学習は、サーバ側の集中化落とし穴を避けるように設計されている。
  論文  参考訳（メタデータ） (2022-06-02T00:30:04Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• Distributed Reinforcement Learning for Privacy-Preserving Dynamic Edge Caching [91.50631418179331]
  MECネットワークにおけるデバイスのキャッシュヒット率を最大化するために,プライバシ保護型分散ディープポリシー勾配(P2D3PG)を提案する。 分散最適化をモデルフリーなマルコフ決定プロセス問題に変換し、人気予測のためのプライバシー保護フェデレーション学習手法を導入する。
  論文  参考訳（メタデータ） (2021-10-20T02:48:27Z)
• A Survey on Reinforcement Learning-Aided Caching in Mobile Edge Networks [12.470038211838363]
  モバイルネットワークは、データ量とユーザ密度が大幅に増加している。 この問題を軽減する効率的な手法は、エッジネットワークノードのキャッシュを利用してデータをユーザに近づけることである。 機械学習とワイヤレスネットワークの融合は、ネットワーク最適化に有効な手段を提供する。
  論文  参考訳（メタデータ） (2021-05-12T10:30:56Z)
• Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models [8.932281655601495]
  Phoebeは、最適なオンラインキャッシュのための再利用対応強化学習フレームワークである。 実験の結果,PhoebeはLRUと最先端のオンライン学習ベースのキャッシュポリシとのキャッシュミス率のギャップを埋めることができた。
  論文  参考訳（メタデータ） (2020-11-13T22:55:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。