論文の概要: Beyond Model Scale Limits: End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration

• arxiv url: http://arxiv.org/abs/2501.00693v1
• Date: Wed, 01 Jan 2025 01:11:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:12:10.603700
• Title: Beyond Model Scale Limits: End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration
• Title（参考訳）: モデルスケールの限界を超えて - 自己認識型知識集約によるエッジクラウドフェデレーション学習
• Authors: Zhiyuan Wu, Sheng Sun, Yuwei Wang, Min Liu, Ke Xu, Quyang Pan, Bo Gao, Tian Wen,
• Abstract要約: 自己認識型知識集約(FedEEC)を用いたエンドエッジクラウドフェデレーション学習を提案する。 FedEECは、EECCを内蔵した新しいFLフレームワークで、エンド、エッジ、クラウドといったトレーニングされたモデルが、サイズが大きくなり、能力も向上する。
• 参考スコア（独自算出の注目度）: 13.056361971363902
• License:
• Abstract: The rise of End-Edge-Cloud Collaboration (EECC) offers a promising paradigm for Artificial Intelligence (AI) model training across end devices, edge servers, and cloud data centers, providing enhanced reliability and reduced latency. Hierarchical Federated Learning (HFL) can benefit from this paradigm by enabling multi-tier model aggregation across distributed computing nodes. However, the potential of HFL is significantly constrained by the inherent heterogeneity and dynamic characteristics of EECC environments. Specifically, the uniform model structure bounded by the least powerful end device across all computing nodes imposes a performance bottleneck. Meanwhile, coupled heterogeneity in data distributions and resource capabilities across tiers disrupts hierarchical knowledge transfer, leading to biased updates and degraded performance. Furthermore, the mobility and fluctuating connectivity of computing nodes in EECC environments introduce complexities in dynamic node migration, further compromising the robustness of the training process. To address multiple challenges within a unified framework, we propose End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration (FedEEC), which is a novel EECC-empowered FL framework that allows the trained models from end, edge, to cloud to grow larger in size and stronger in generalization ability. FedEEC introduces two key innovations: (1) Bridge Sample Based Online Distillation Protocol (BSBODP), which enables knowledge transfer between neighboring nodes through generated bridge samples, and (2) Self-Knowledge Rectification (SKR), which refines the transferred knowledge to prevent suboptimal cloud model optimization. The proposed framework effectively handles both cross-tier resource heterogeneity and effective knowledge transfer between neighboring nodes, while satisfying the migration-resilient requirements of EECC.
• Abstract（参考訳）: End-Edge-Cloud Collaboration(EECC)の台頭は、エンドデバイス、エッジサーバ、クラウドデータセンタにわたる人工知能(AI)モデルトレーニングのための有望なパラダイムを提供し、信頼性とレイテンシの低減を提供する。 階層的フェデレートラーニング(HFL)は、分散コンピューティングノード間の多層モデルアグリゲーションを可能にすることにより、このパラダイムの恩恵を受けることができる。 しかし,HFLのポテンシャルは,EECC環境の固有不均一性と動的特性によって著しく制約されている。 具体的には、すべての計算ノードにまたがる最強のエンドデバイスによってバウンドされた統一モデル構造は、パフォーマンスのボトルネックを課している。 一方、階層間のデータ分散とリソース能力のヘテロジニティの結合は、階層的な知識伝達を阻害し、バイアスのある更新と性能低下につながります。 さらに、EECC環境におけるコンピューティングノードの移動性と変動する接続性は、動的ノードマイグレーションの複雑さを導入し、トレーニングプロセスの堅牢性をさらに向上させる。 統合フレームワーク内での複数の課題に対処するために、エンドエッジクラウドフェデレートラーニング(End-Edge-Cloud Federated Learning with Self-Rectified Knowledge Agglomeration, FedEEC)を提案する。 FedEECは,(1)ブリッジサンプルベースのオンライン蒸留プロトコル(BSBODP)を導入し,生成したブリッジサンプルを通して近隣ノード間の知識伝達を可能にする。 提案フレームワークは,EECCのマイグレーション耐性要件を満たしつつ,階層間リソースの不均一性と近隣ノード間の効果的な知識伝達の両方を効果的に処理する。

関連論文リスト

• SCALE: Self-regulated Clustered federAted LEarning in a Homogeneous Environment [4.925906256430176]
  フェデレートラーニング(FL)は、ユーザのプライバシを維持しながら、分散機械学習を実現するための変革的なアプローチとして登場した。 本稿では,エッジサーバへの依存を排除し,これらの制約を克服する新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2024-07-25T20:42:16Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Agglomerative Federated Learning: Empowering Larger Model Training via End-Edge-Cloud Collaboration [10.90126132493769]
  Agglomerative Federated Learning (FedAgg)は、EECCを利用した新しいFLフレームワークである。 FedAggは最先端の手法を平均4.53%の精度で上回り、収束率を著しく改善している。
  論文  参考訳（メタデータ） (2023-12-01T06:18:45Z)
• Federated Learning-Empowered AI-Generated Content in Wireless Networks [58.48381827268331]
  フェデレートドラーニング(FL)は、学習効率を改善し、AIGCのプライバシー保護を達成するために利用することができる。 我々は,AIGCの強化を目的としたFLベースの技術を提案し,ユーザが多様でパーソナライズされた高品質なコンテンツを作成できるようにすることを目的とする。
  論文  参考訳（メタデータ） (2023-07-14T04:13:11Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• HiFlash: Communication-Efficient Hierarchical Federated Learning with Adaptive Staleness Control and Heterogeneity-aware Client-Edge Association [38.99309610943313]
  フェデレートラーニング(FL)は、巨大なクライアント間で共有モデルを協調的に学習することのできる、有望なパラダイムである。 多くの既存のFLシステムでは、クライアントは大規模なデータサイズのモデルパラメータを、ワイドエリアネットワーク(WAN)を介してリモートクラウドサーバと頻繁に交換する必要がある。 我々は、モバイルエッジコンピューティングの利点を享受するHiFLの階層的フェデレーション学習パラダイムを活用している。
  論文  参考訳（メタデータ） (2023-01-16T14:39:04Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Towards Communication-efficient and Attack-Resistant Federated Edge Learning for Industrial Internet of Things [40.20432511421245]
  federated edge learning(fel)は、産業用iot(internet of things)におけるエッジコンピューティングのためのグローバルなディープラーニングモデルを、エッジノードでトレーニング可能にする。 FELは、通信オーバーヘッドとデータプライバシの2つの重要な課題に直面している。 IIoTにおけるエッジコンピューティングのための通信効率とプライバシー強化型非同期FELフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-08T14:11:32Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
  フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。 本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
  論文  参考訳（メタデータ） (2020-07-28T17:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。