論文の概要: FedMef: Towards Memory-efficient Federated Dynamic Pruning

• arxiv url: http://arxiv.org/abs/2403.14737v1
• Date: Thu, 21 Mar 2024 13:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 21:21:55.244807
• Title: FedMef: Towards Memory-efficient Federated Dynamic Pruning
• Title（参考訳）: FedMef: メモリ効率のFederated Dynamic Pruningを目指して
• Authors: Hong Huang, Weiming Zhuang, Chen Chen, Lingjuan Lyu,
• Abstract要約: フェデレートラーニング(FL)は、データの機密性を優先しながら、分散トレーニングを促進する。 リソース制約のあるデバイスへのその応用は、ディープラーニングモデルをトレーニングするための計算とメモリリソースの要求が高いため、難しい。 我々は,新しい,メモリ効率の高い動的刈取フレームワークであるFedMefを提案する。
• 参考スコア（独自算出の注目度）: 42.07105095641134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) promotes decentralized training while prioritizing data confidentiality. However, its application on resource-constrained devices is challenging due to the high demand for computation and memory resources to train deep learning models. Neural network pruning techniques, such as dynamic pruning, could enhance model efficiency, but directly adopting them in FL still poses substantial challenges, including post-pruning performance degradation, high activation memory usage, etc. To address these challenges, we propose FedMef, a novel and memory-efficient federated dynamic pruning framework. FedMef comprises two key components. First, we introduce the budget-aware extrusion that maintains pruning efficiency while preserving post-pruning performance by salvaging crucial information from parameters marked for pruning within a given budget. Second, we propose scaled activation pruning to effectively reduce activation memory footprints, which is particularly beneficial for deploying FL to memory-limited devices. Extensive experiments demonstrate the effectiveness of our proposed FedMef. In particular, it achieves a significant reduction of 28.5% in memory footprint compared to state-of-the-art methods while obtaining superior accuracy.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データの機密性を優先しながら、分散トレーニングを促進する。 しかしながら、リソース制約のあるデバイスへのその応用は、ディープラーニングモデルをトレーニングするための計算とメモリリソースの需要が高いため、困難である。 動的プルーニングのようなニューラルネットワークのプルーニング技術は、モデルの効率を高めることができるが、FLに直接適用することは、後処理のパフォーマンス劣化、高アクティベーションメモリ使用率など、大きな課題を生じさせる。 これらの課題に対処するために,新しい,メモリ効率の高い動的刈取フレームワークであるFedMefを提案する。 FedMefは2つの重要なコンポーネントから構成される。 まず,所定の予算内での刈り込みを行うためのパラメータから重要な情報を抽出し,刈り込み後の性能を保ちながら刈り込み効率を維持する予算対応押出しについて紹介する。 第2に,アクティベーションメモリのフットプリントを効果的に削減するために,スケールドアクティベーションプルーニングを提案する。 大規模実験により提案したFedMefの有効性が実証された。 特に、最先端の手法に比べてメモリフットプリントが28.5%大幅に削減され、精度も向上した。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices [36.23767349592602]
  Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)設計における協調学習を可能にする。 FLはメモリ使用量が多いため、低メモリのAIoTデバイスでは動作しない。 本稿では,フェデレートされたBPフリートレーニングフレームワークとシームレスに統合可能な,ニューラル・タンジェント・カーネル(NTK)に基づくフェデレーションフォレスト・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-08T02:24:09Z)
• Contractive error feedback for gradient compression [60.05809370598166]
  本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
  論文  参考訳（メタデータ） (2023-12-13T21:54:21Z)
• MF-NeRF: Memory Efficient NeRF with Mixed-Feature Hash Table [62.164549651134465]
  MF-NeRFは,Mixed-Featureハッシュテーブルを用いてメモリ効率を向上し,再構成品質を維持しながらトレーニング時間を短縮するメモリ効率の高いNeRFフレームワークである。 最新技術であるInstant-NGP、TensoRF、DVGOによる実験は、MF-NeRFが同じGPUハードウェア上で、同様のあるいはそれ以上のリコンストラクション品質で最速のトレーニング時間を達成できることを示唆している。
  論文  参考訳（メタデータ） (2023-04-25T05:44:50Z)
• Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
  FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。 メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。 2.61%の精度向上を実現し、計算コストを95.91%削減した。
  論文  参考訳（メタデータ） (2022-12-05T01:58:45Z)
• Self-Attentive Pooling for Efficient Deep Learning [6.822466048176652]
  そこで本研究では,標準プーリング層に対するドロップイン代替として使用可能な,非局所的な自己係留型プーリング手法を提案する。 我々は、ImageNet上のMobileNet-V2の様々な変種に対する既存のプール技術のテスト精度を平均1.2%上回る。 提案手法は,イソメモリフットプリントを用いたSOTA技術と比較して1.43%高い精度を実現している。
  論文  参考訳（メタデータ） (2022-09-16T00:35:14Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Fast and Memory-Efficient Network Towards Efficient Image Super-Resolution [44.909233016062906]
  我々は、資源制約のあるデバイスのためのメモリ効率の高い画像超解像ネットワーク(FMEN)を構築した。 FMENは、最先端のEISRモデルであるE-RFDNと比較して33%高速で、メモリ消費を74%削減する。 FMEN-S は NTIRE 2022 の高効率超解像における最小のメモリ消費と2番目に短いランタイムを実現する。
  論文  参考訳（メタデータ） (2022-04-18T16:49:20Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。