論文の概要: GACT: Activation Compressed Training for General Architectures

• arxiv url: http://arxiv.org/abs/2206.11357v1
• Date: Wed, 22 Jun 2022 20:06:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 14:20:45.284991
• Title: GACT: Activation Compressed Training for General Architectures
• Title（参考訳）: GACT: 一般的なアーキテクチャのためのアクティベーション圧縮トレーニング
• Authors: Xiaoxuan Liu, Lianmin Zheng, Dequan Wang, Yukuo Cen, Weize Chen, Xu Han, Jianfei Chen, Zhiyuan Liu, Jie Tang, Joey Gonzalez, Michael Mahoney, Alvin Cheung
• Abstract要約: Activation Compressed Training (ACT)は、トレーニングメモリフットプリントを減らすための有望なアプローチである。 GACTは畳み込みNN、トランスフォーマー、グラフNNのアクティベーションメモリを最大8.1倍に削減し、4.2倍から24.7倍のバッチサイズでのトレーニングを可能にする。
• 参考スコア（独自算出の注目度）: 37.25798396630518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training large neural network (NN) models requires extensive memory resources, and Activation Compressed Training (ACT) is a promising approach to reduce training memory footprint. This paper presents GACT, an ACT framework to support a broad range of machine learning tasks for generic NN architectures with limited domain knowledge. By analyzing a linearized version of ACT's approximate gradient, we prove the convergence of GACT without prior knowledge on operator type or model architecture. To make training stable, we propose an algorithm that decides the compression ratio for each tensor by estimating its impact on the gradient at run time. We implement GACT as a PyTorch library that readily applies to any NN architecture. GACT reduces the activation memory for convolutional NNs, transformers, and graph NNs by up to 8.1x, enabling training with a 4.2x to 24.7x larger batch size, with negligible accuracy loss.
• Abstract（参考訳）: 大規模なニューラルネットワーク(NN)モデルのトレーニングには広範なメモリリソースが必要であり、Activation Compressed Training(ACT)は、トレーニングメモリフットプリントを削減するための有望なアプローチである。 本稿では,ドメイン知識に制限のある汎用NNアーキテクチャに対して,幅広い機械学習タスクをサポートするACTフレームワークであるGACTを提案する。 ACT の近似勾配の線形化バージョンを解析することにより、演算子タイプやモデルアーキテクチャに関する事前の知識なしに GACT の収束を証明できる。 トレーニングを安定させるために,実行時の勾配への影響を推定し,テンソル毎の圧縮比を決定するアルゴリズムを提案する。 我々は任意のNNアーキテクチャに適用可能なPyTorchライブラリとしてGACTを実装している。 gactは畳み込みnn、トランスフォーマー、グラフnnのアクティベーションメモリを最大8.1x削減し、4.2倍から24.7倍のバッチサイズでのトレーニングを可能にする。

関連論文リスト

• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors [4.95475852994362]
  本稿では,バイナリ重み付きニューラルネットワークのサブビット圧縮を実現するために,ビット列を持つタイル型ニューラルネットワーク層に対する新しい量子化方式を提案する。 私たちは完全に接続された層と畳み込み層の両方にアプローチを採用しています。
  論文  参考訳（メタデータ） (2024-07-16T15:55:38Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
  ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-29T05:50:54Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
  本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。 我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
  論文  参考訳（メタデータ） (2020-10-19T08:11:48Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)
• Exploring the Potential of Low-bit Training of Convolutional Neural Networks [16.72709290595995]
  畳み込みニューラルネットワークのための低ビットトレーニングフレームワークを提案する。 我々のフレームワークは、新しいマルチレベルスケーリング(MLS)テンソルフォーマットに基づいて構築されている。 実験により、我々のフレームワークは精度とビット幅のトレードオフが優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-04T12:09:35Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。