論文の概要: Contractive error feedback for gradient compression

• arxiv url: http://arxiv.org/abs/2312.08538v1
• Date: Wed, 13 Dec 2023 21:54:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 00:30:47.411451
• Title: Contractive error feedback for gradient compression
• Title（参考訳）: 勾配圧縮のための収縮誤差フィードバック
• Authors: Bingcong Li, Shuai Zheng, Parameswaran Raman, Anshumali Shrivastava and Georgios B. Giannakis
• Abstract要約: 本稿では,ConEF(Contractive error feedback)と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFはコンバージェンスとメモリ使用率のスイートスポットを取得する。 我々は、画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証する。
• 参考スコア（独自算出の注目度）: 60.05809370598166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device memory concerns in distributed deep learning have become severe due to (i) the growth of model size in multi-GPU training, and (ii) the wide adoption of deep neural networks for federated learning on IoT devices which have limited storage. In such settings, communication efficient optimization methods are attractive alternatives, however they still struggle with memory issues. To tackle these challenges, we propose an communication efficient method called contractive error feedback (ConEF). As opposed to SGD with error-feedback (EFSGD) that inefficiently manages memory, ConEF obtains the sweet spot of convergence and memory usage, and achieves communication efficiency by leveraging biased and all-reducable gradient compression. We empirically validate ConEF on various learning tasks that include image classification, language modeling, and machine translation and observe that ConEF saves 80\% - 90\% of the extra memory in EFSGD with almost no loss on test performance, while also achieving 1.3x - 5x speedup of SGD. Through our work, we also demonstrate the feasibility and convergence of ConEF to clear up the theoretical barrier of integrating ConEF to popular memory efficient frameworks such as ZeRO-3.
• Abstract（参考訳）: 分散ディープラーニングにおけるオンデバイスメモリの懸念が深刻化している (i)マルチGPUトレーニングにおけるモデルサイズの成長,及び (ii) 限られたストレージを持つIoTデバイス上でのフェデレーション学習にディープニューラルネットワークが広く採用されていること。 このような環境では、通信効率のよい最適化手法は魅力的な代替手段である。 これらの課題に対処するため,契約誤りフィードバック (ConEF) と呼ばれる通信効率のよい手法を提案する。 メモリを効率よく管理しないエラーフィードバック(EFSGD)を持つSGDとは対照的に、ConEFは収束とメモリ使用率のスイートスポットを取得し、バイアスと全還元可能な勾配圧縮を利用して通信効率を達成する。 画像分類、言語モデリング、機械翻訳を含む様々な学習タスクにおいて、ConEFを実証的に検証し、テスト性能にほとんど損失がなく、またSGDの1.3倍から5倍のスピードアップを達成するとともに、EFがEFSGDの余剰メモリの80%～90%を節約することを示した。 我々はまた、ConEFをZeRO-3のような一般的なメモリ効率フレームワークに統合する理論的障壁を解消するために、ConEFの実現可能性と収束性を示す。

関連論文リスト

• FedProphet: Memory-Efficient Federated Adversarial Training via Theoretic-Robustness and Low-Inconsistency Cascade Learning [20.075335314952643]
  フェデレートラーニング(FL)は、データ共有をトレーニングすることなく、エッジデバイス間のローカルトレーニングを可能にすることで、強力なプライバシ保証を提供する。 FedProphetは、メモリ効率、敵の堅牢性、客観的一貫性を同時に達成できる新しいFATフレームワークである。
  論文  参考訳（メタデータ） (2024-09-12T19:39:14Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• When Foresight Pruning Meets Zeroth-Order Optimization: Efficient Federated Learning for Low-Memory Devices [36.23767349592602]
  Federated Learning (FL)は、AIoT(Artificial Intelligence of Things)設計における協調学習を可能にする。 FLはメモリ使用量が多いため、低メモリのAIoTデバイスでは動作しない。 本稿では,フェデレートされたBPフリートレーニングフレームワークとシームレスに統合可能な,ニューラル・タンジェント・カーネル(NTK)に基づくフェデレーションフォレスト・プルーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-08T02:24:09Z)
• Memory-Efficient and Secure DNN Inference on TrustZone-enabled Consumer IoT Devices [9.928745904761358]
  エッジインテリジェンスにより、元のデータを転送することなく、リソース要求のDeep Neural Network(DNN)推論が可能になる。 プライバシに敏感なアプリケーションでは、ハードウェアアイソレーションされた信頼できる実行環境(TEE)にモデルをデプロイすることが不可欠である。 我々は,モデル推論における包括的プライバシ保護を保証するため,TrustZoneにおける高度なモデル展開のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-19T09:22:50Z)
• UniPT: Universal Parallel Tuning for Transfer Learning with Efficient Parameter and Memory [69.33445217944029]
  PETLは、トレーニング済みモデルを下流ドメインに適応するための効果的な戦略である。 最近のPETLは、より価値の高いメモリ効率特性に焦点を当てている。 メモリ効率の良い新しいPETL戦略Universal Parallel Tuning (UniPT)を提案する。
  論文  参考訳（メタデータ） (2023-08-28T05:38:43Z)
• CAME: Confidence-guided Adaptive Memory Efficient Optimization [20.009302737137787]
  適応勾配法は大規模言語モデルの訓練において優れた性能を示した。 二次モーメント推定の維持には、メモリオーバーヘッドの増大を高いコストで維持する必要がある。 補助メモリ使用量の大幅な削減を実現するために、いくつかのメモリ効率が提案されているが、性能上のペナルティがある。 我々は,従来の適応手法のように高速収束,メモリ効率の低い2つの目標を同時に達成するために,CAMEを提案する。
  論文  参考訳（メタデータ） (2023-07-05T06:05:36Z)
• Memory-adaptive Depth-wise Heterogenous Federated Learning [24.13198329419849]
  FLにFeDepthというメモリ適応型深度学習ソリューションを導入し,各クライアントのメモリ予算に応じて,全モデルをブロックに適応的に分解する。 CIFAR-10 と CIFAR-100 では,CIFAR-10 と CIFAR-100 でそれぞれ 5% と 10% 以上の精度向上を実現した。
  論文  参考訳（メタデータ） (2023-03-08T20:52:57Z)
• EcoTTA: Memory-Efficient Continual Test-time Adaptation via Self-distilled Regularization [71.70414291057332]
  TTAは主にメモリ制限のあるエッジデバイス上で実行される。 長期的な適応は、しばしば破滅的な忘れとエラーの蓄積につながる。 本稿では,凍結したオリジナルネットワークを対象ドメインに適応させる軽量なメタネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-03T13:05:30Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。