Fugu-MT 論文翻訳(概要): Enabling Binary Neural Network Training on the Edge

論文の概要: Enabling Binary Neural Network Training on the Edge

arxiv url: http://arxiv.org/abs/2102.04270v6
Date: Sun, 24 Sep 2023 23:07:32 GMT
ステータス: 処理完了
システム内更新日: 2023-09-27 05:31:25.334688
Title: Enabling Binary Neural Network Training on the Edge
Title（参考訳）: エッジ上でバイナリニューラルネットワークトレーニングを実現する
Authors: Erwei Wang, James J. Davis, Daniele Moro, Piotr Zielinski, Jia Jie Lim, Claudionor Coelho, Satrajit Chatterjee, Peter Y. K. Cheung, George A. Constantinides
Abstract要約: 既存のバイナリニューラルネットワークトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。本稿では,メモリフットプリントの大幅な削減を図った,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。また、2ナライズされたResNet-18のin-scratch ImageNetトレーニングも実施し、3.78$times$メモリ削減を実現した。
参考スコア（独自算出の注目度）: 7.32770338248516
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ever-growing computational demands of increasingly complex machine learning models frequently necessitate the use of powerful cloud-based infrastructure for their training. Binary neural networks are known to be promising candidates for on-device inference due to their extreme compute and memory savings over higher-precision alternatives. However, their existing training methods require the concurrent storage of high-precision activations for all layers, generally making learning on memory-constrained devices infeasible. In this article, we demonstrate that the backward propagation operations needed for binary neural network training are strongly robust to quantization, thereby making on-the-edge learning with modern models a practical proposition. We introduce a low-cost binary neural network training strategy exhibiting sizable memory footprint reductions while inducing little to no accuracy loss vs Courbariaux & Bengio's standard approach. These decreases are primarily enabled through the retention of activations exclusively in binary format. Against the latter algorithm, our drop-in replacement sees memory requirement reductions of 3--5$\times$, while reaching similar test accuracy in comparable time, across a range of small-scale models trained to classify popular datasets. We also demonstrate from-scratch ImageNet training of binarized ResNet-18, achieving a 3.78$\times$ memory reduction. Our work is open-source, and includes the Raspberry Pi-targeted prototype we used to verify our modeled memory decreases and capture the associated energy drops. Such savings will allow for unnecessary cloud offloading to be avoided, reducing latency, increasing energy efficiency, and safeguarding end-user privacy.
Abstract（参考訳）: ますます複雑化する機械学習モデルの継続的な計算需要は、トレーニングに強力なクラウドベースのインフラストラクチャを使用する必要がしばしばある。バイナリニューラルネットワークは、高い精度の代替よりも極端な計算とメモリ節約のために、デバイス上の推論に有望な候補であることが知られている。しかしながら、既存のトレーニング手法では、すべてのレイヤに対して高精度なアクティベーションを同時に保存する必要がある。本稿では,バイナリニューラルネットワークトレーニングに必要な後方伝播操作が量子化に強く寄与していることを示し,現代のモデルを用いた最先端学習を実践的課題とする。本稿では,courbariaux と bengio の標準アプローチに対する精度の低下をほとんど起こさず,メモリフットプリントの大幅な削減を示す,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。これらの減少は、主にバイナリ形式のみのアクティベーションの保持によって実現される。後者のアルゴリズムに対して、我々のドロップイン置換は、一般的なデータセットを分類するために訓練された様々な小規模モデルに対して、同等の時間で同様のテスト精度に達する一方で、メモリ要求の3-5$\times$を削減します。また,2値化resnet-18のscratchイメージネットトレーニングを実演し,3.78$\times$メモリ削減を実現する。私たちの仕事はオープンソースで、モデルメモリの減少と関連するエネルギー損失のキャプチャに使用したraspberry piターゲットのプロトタイプが含まれています。このような節約によって、不要なクラウドオフロードの回避、レイテンシの低減、エネルギー効率の向上、エンドユーザのプライバシ保護が可能になる。

関連論文リスト

Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文参考訳（メタデータ） (2024-01-18T11:57:05Z)
Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
論文参考訳（メタデータ） (2024-01-08T18:59:31Z)
OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays [6.418232942455968]
OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
論文参考訳（メタデータ） (2022-10-24T02:39:13Z)
On-Device Training Under 256KB Memory [62.95579393237751]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
論文参考訳（メタデータ） (2022-06-30T17:59:08Z)
Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文参考訳（メタデータ） (2021-11-22T11:23:01Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文参考訳（メタデータ） (2020-11-17T10:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。