論文の概要: Energy and Memory-Efficient Federated Learning With Ordered Layer Freezing

• arxiv url: http://arxiv.org/abs/2512.23200v1
• Date: Mon, 29 Dec 2025 04:39:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.404786
• Title: Energy and Memory-Efficient Federated Learning With Ordered Layer Freezing
• Title（参考訳）: 秩序付き層凍結による高エネルギー・高効率フェデレーション学習
• Authors: Ziru Niu, Hai Dong, A. K. Qin, Tao Gu, Pengcheng Zhang,
• Abstract要約: フェデレートラーニング(FL)は、IoT(Internet of Things)の分散エッジデバイスにまたがる機械学習モデルをトレーニングするための、プライバシ保護パラダイムとして登場した。 FedOLF(Federated Learning with Ordered Layer Freezing)を紹介する。 FedOLFはトレーニング前に事前に定義された順序で継続的にレイヤを凍結し、通信とメモリ要件を大幅に緩和する。
• 参考スコア（独自算出の注目度）: 8.403142088918843
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Federated Learning (FL) has emerged as a privacy-preserving paradigm for training machine learning models across distributed edge devices in the Internet of Things (IoT). By keeping data local and coordinating model training through a central server, FL effectively addresses privacy concerns and reduces communication overhead. However, the limited computational power, memory, and bandwidth of IoT edge devices pose significant challenges to the efficiency and scalability of FL, especially when training deep neural networks. Various FL frameworks have been proposed to reduce computation and communication overheads through dropout or layer freezing. However, these approaches often sacrifice accuracy or neglect memory constraints. To this end, in this work, we introduce Federated Learning with Ordered Layer Freezing (FedOLF). FedOLF consistently freezes layers in a predefined order before training, significantly mitigating computation and memory requirements. To further reduce communication and energy costs, we incorporate Tensor Operation Approximation (TOA), a lightweight alternative to conventional quantization that better preserves model accuracy. Experimental results demonstrate that over non-iid data, FedOLF achieves at least 0.3%, 6.4%, 5.81%, 4.4%, 6.27% and 1.29% higher accuracy than existing works respectively on EMNIST (with CNN), CIFAR-10 (with AlexNet), CIFAR-100 (with ResNet20 and ResNet44), and CINIC-10 (with ResNet20 and ResNet44), along with higher energy efficiency and lower memory footprint.
• Abstract（参考訳）: フェデレートラーニング(FL)は、IoT(Internet of Things)の分散エッジデバイスにまたがる機械学習モデルをトレーニングするための、プライバシ保護パラダイムとして登場した。 データをローカルに保持し、中央サーバを通じてモデルのトレーニングを調整することで、FLは事実上プライバシの懸念に対処し、通信オーバーヘッドを低減する。 しかしながら、IoTエッジデバイスの計算能力、メモリ、帯域幅の制限は、特にディープニューラルネットワークのトレーニングにおいて、FLの効率性とスケーラビリティに大きな課題をもたらす。 ドロップアウトや層凍結による計算と通信のオーバーヘッドを軽減するために,様々なFLフレームワークが提案されている。 しかし、これらのアプローチは精度を犠牲にしたり、メモリの制約を無視したりすることが多い。 そこで本研究では,FedOLF(Federated Learning with Ordered Layer Freezing)を紹介する。 FedOLFはトレーニング前に事前に定義された順序で継続的にレイヤを凍結し、計算とメモリ要件を大幅に緩和する。 通信とエネルギーのコストをさらに削減するために,従来の量子化に代わる軽量なテンソル演算近似(TOA)を導入し,モデル精度を向上する。 実験の結果、FedOLFは非IDデータに対して、EMNIST(CNN)、CIFAR-10(AlexNet)、CIFAR-100(ResNet20とResNet44)、CINIC-10(ResNet20とResNet44)のそれぞれよりも少なくとも0.3%、6.4%、5.81%、4.4%、6.27%、1.29%の精度を達成した。

関連論文リスト

• SHeRL-FL: When Representation Learning Meets Split Learning in Hierarchical Federated Learning [5.447833971100033]
  Federated Learning(FL)は、大規模ネットワークにおけるスケーラビリティとレイテンシの問題に対処するための、有望なアプローチである。 これまでの作業では、分割学習(SL)と階層FL(HierFL)を組み合わせてデバイス側の計算を削減しているが、これは階層間の調整によるトレーニングの複雑さをもたらす。 SLと階層モデルアグリゲーションを統合し,中間層での表現学習を取り入れたSHeRL-FLを提案する。
  論文  参考訳（メタデータ） (2025-08-11T04:13:56Z)
• Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments [2.942616054218564]
  フェデレートラーニング(FL)は、複数のデバイスがデータを集中せずに共有モデルを共同でトレーニングすることを可能にする。 本稿では、不必要なモデル更新送信を減らすために、キャッシュ戦略(FIFO、LRU、プライオリティベース)を紹介する。
  論文  参考訳（メタデータ） (2025-07-19T17:02:15Z)
• Lightweight Federated Learning over Wireless Edge Networks [83.4818741890634]
  Federated (FL) はネットワークエッジの代替品であるが、無線ネットワークでは代替品である。 閉形式式FL収束ギャップ伝送パワー,モデルプルーニング誤差,量子化を導出する。 LTFLは、実世界のデータセットの実験において最先端のスキームよりも優れている。
  論文  参考訳（メタデータ） (2025-07-13T09:14:17Z)
• Efficient Federated Fine-Tuning of Large Language Models with Layer Dropout [15.009864792277236]
  ファインチューニングは、訓練済みのLLMが一般的な言語理解からタスク固有の専門知識へと進化できるようにする上で重要な役割を担っている。 この研究は、新しいトランスフォーマードロップアウト方式を採用した革新的フェデレーションPEFTフレームワークであるDropPEFTを提案する。 DropPEFTはモデル収束の1.3-6.3倍の高速化とメモリフットプリントの40%-67%の削減を実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-03-13T09:59:16Z)
• Federated Learning with Workload Reduction through Partial Training of Client Models and Entropy-Based Data Selection [3.9981390090442694]
  我々は,エッジデバイス上でのトレーニング負荷を削減するために,部分的クライアントモデルのファインチューニングとエントロピーベースのデータ選択を組み合わせた新しいアプローチであるFedFT-EDSを提案する。 実験の結果,FedFT-EDSは50%のユーザデータしか使用せず,ベースライン法,FedAvg,FedProxに比べてグローバルモデルの性能が向上していることがわかった。 FedFT-EDSは、クライアントでのトレーニング時間の3分の1を使用して、クライアントの学習効率を最大3倍改善する。
  論文  参考訳（メタデータ） (2024-12-30T22:47:32Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization [3.219812767529503]
  我々は,すべてのデバイス上でNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに多大な貢献をすることができる。
  論文  参考訳（メタデータ） (2022-03-10T16:45:05Z)
• Exploring Deep Reinforcement Learning-Assisted Federated Learning for Online Resource Allocation in EdgeIoT [53.68792408315411]
  フェデレートラーニング(FL)は、モバイルエッジコンピューティングベースのInternet of Thing(EdgeIoT)における盗聴攻撃からデータトレーニングプライバシを保護するために、ますます検討されている。 本研究では,連続領域における最適精度とエネルギー収支を達成するために,FLDLT3フレームワークを提案する。 その結果、FL-DLT3は100回未満の高速収束を実現し、FLの精度-エネルギー消費比は既存の最先端ベンチマークと比較して51.8%向上した。
  論文  参考訳（メタデータ） (2022-02-15T13:36:15Z)
• Federated Dynamic Sparse Training: Computing Less, Communicating Less, Yet Learning Better [88.28293442298015]
  Federated Learning (FL)は、クラウドからリソース制限されたエッジデバイスへの機械学習ワークロードの分散を可能にする。 我々は、FedDST(Federated Dynamic Sparse Training)と呼ばれる新しいFLフレームワークを開発し、実装し、実験的に検証する。 FedDSTは、ターゲットのフルネットワークからスパースサブネットワークを抽出し、訓練する動的プロセスである。
  論文  参考訳（メタデータ） (2021-12-18T02:26:38Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。