Fugu-MT 論文翻訳(概要): Enabling Binary Neural Network Training on the Edge

論文の概要: Enabling Binary Neural Network Training on the Edge

arxiv url: http://arxiv.org/abs/2102.04270v1
Date: Mon, 8 Feb 2021 15:06:41 GMT
ステータス: 処理完了
システム内更新日: 2021-02-09 15:19:19.911759
Title: Enabling Binary Neural Network Training on the Edge
Title（参考訳）: エッジ上でバイナリニューラルネットワークトレーニングを実現する
Authors: Erwei Wang, James J. Davis, Daniele Moro, Piotr Zielinski, Claudionor Coelho, Satrajit Chatterjee, Peter Y. K. Cheung, George A. Constantinides
Abstract要約: メモリフットプリントの大幅な削減と省エネによる低コストなバイナリニューラルネットワークトレーニング戦略を導入する。 ResNetE-18のImageNetトレーニングも紹介し、前述の標準よりも3.12$times$のメモリ削減を実現しています。
参考スコア（独自算出の注目度）: 15.12746980221199
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The ever-growing computational demands of increasingly complex machine learning models frequently necessitate the use of powerful cloud-based infrastructure for their training. Binary neural networks are known to be promising candidates for on-device inference due to their extreme compute and memory savings over higher-precision alternatives. In this paper, we demonstrate that they are also strongly robust to gradient quantization, thereby making the training of modern models on the edge a practical reality. We introduce a low-cost binary neural network training strategy exhibiting sizable memory footprint reductions and energy savings vs Courbariaux & Bengio's standard approach. Against the latter, we see coincident memory requirement and energy consumption drops of 2--6$\times$, while reaching similar test accuracy in comparable time, across a range of small-scale models trained to classify popular datasets. We also showcase ImageNet training of ResNetE-18, achieving a 3.12$\times$ memory reduction over the aforementioned standard. Such savings will allow for unnecessary cloud offloading to be avoided, reducing latency, increasing energy efficiency and safeguarding privacy.
Abstract（参考訳）: ますます複雑化する機械学習モデルの計算要求は、トレーニングに強力なクラウドベースのインフラストラクチャの使用をしばしば必要とします。バイナリニューラルネットワークは、高精度な代替手段よりも極端な計算とメモリ節約のために、オンデバイス推論の有望な候補であることが知られている。本稿では,これらが勾配量子化にも強く耐えられることを示し,現代のモデルのエッジ上でのトレーニングを現実的な現実にする。本稿では,courbariaux & bengioの標準アプローチに対するメモリフットプリント低減と省エネを示す,低コストなバイナリニューラルネットワークトレーニング戦略を提案する。後者に対して、偶然のメモリ要件と2-6$\times$のエネルギー消費の低下は、人気のあるデータセットを分類するために訓練されたさまざまな小規模モデルにわたって、同等の時間で同様のテスト精度に達しています。 ResNetE-18のImageNetトレーニングも紹介し、前述の標準よりも3.12$\times$メモリ削減を実現しています。このような節約は、不要なクラウドオフロードを回避し、レイテンシを低減し、エネルギー効率を高め、プライバシの保護を可能にする。

関連論文リスト

POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging [35.397804171588476]
エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
論文参考訳（メタデータ） (2022-07-15T18:36:29Z)
On-Device Training Under 256KB Memory [65.76525493087847]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
論文参考訳（メタデータ） (2022-06-30T17:59:08Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文参考訳（メタデータ） (2021-01-04T18:54:07Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
論文参考訳（メタデータ） (2020-11-17T10:23:28Z)
Reducing the Computational Cost of Deep Generative Models with Binary Neural Networks [25.084146613277973]
バイナリニューラルネットワークを利用した生成モデルのトレーニングに成功していることを示す。これにより、モデルの計算コストが大幅に削減される。本稿では,ResNet VAEモデルとFlow++モデルという,最先端の2つの深層生成モデルについて,これらの手法を効果的にバイナライズできることを実証する。
論文参考訳（メタデータ） (2020-10-26T10:43:28Z)
Low-Rank Training of Deep Neural Networks for Emerging Memory Technology [4.456122555367167]
非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
論文参考訳（メタデータ） (2020-09-08T17:59:56Z)
Compute, Time and Energy Characterization of Encoder-Decoder Networks with Automatic Mixed Precision Training [6.761235154230549]
モデル性能を犠牲にすることなく、混合精度トレーニングを活用することにより、トレーニング時間の大幅な改善が可能であることを示す。ネットワークのトレーニング可能なパラメータの数は1549%増加し、4つのエンコード層を持つUNetのエネルギー使用量は63.22%増加した。
論文参考訳（メタデータ） (2020-08-18T17:44:24Z)
Neural Networks and Value at Risk [59.85784504799224]
リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
論文参考訳（メタデータ） (2020-05-04T17:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。