Fugu-MT 論文翻訳(概要): Improving Memory Utilization in Convolutional Neural Network Accelerators

論文の概要: Improving Memory Utilization in Convolutional Neural Network Accelerators

arxiv url: http://arxiv.org/abs/2007.09963v2
Date: Tue, 6 Apr 2021 15:45:49 GMT
ステータス: 処理完了
システム内更新日: 2022-11-08 10:12:23.771041
Title: Improving Memory Utilization in Convolutional Neural Network Accelerators
Title（参考訳）: 畳み込みニューラルネットワークアクセラレータにおけるメモリ利用の改善
Authors: Petar Jokic, Stephane Emery, Luca Benini
Abstract要約: 本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
参考スコア（独自算出の注目度）: 16.340620299847384
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While the accuracy of convolutional neural networks has achieved vast improvements by introducing larger and deeper network architectures, also the memory footprint for storing their parameters and activations has increased. This trend especially challenges power- and resource-limited accelerator designs, which are often restricted to store all network data in on-chip memory to avoid interfacing energy-hungry external memories. Maximizing the network size that fits on a given accelerator thus requires to maximize its memory utilization. While the traditionally used ping-pong buffering technique is mapping subsequent activation layers to disjunctive memory regions, we propose a mapping method that allows these regions to overlap and thus utilize the memory more efficiently. This work presents the mathematical model to compute the maximum activations memory overlap and thus the lower bound of on-chip memory needed to perform layer-by-layer processing of convolutional neural networks on memory-limited accelerators. Our experiments with various real-world object detector networks show that the proposed mapping technique can decrease the activations memory by up to 32.9%, reducing the overall memory for the entire network by up to 23.9% compared to traditional ping-pong buffering. For higher resolution de-noising networks, we achieve activation memory savings of 48.8%. Additionally, we implement a face detector network on an FPGA-based camera to validate these memory savings on a complete end-to-end system.
Abstract（参考訳）: 畳み込みニューラルネットワークの精度は、より大きく深いネットワークアーキテクチャを導入することで大幅に向上したが、パラメータとアクティベーションを保存するメモリフットプリントも向上した。この傾向は、電力と資源に制限のある加速器の設計に特に挑戦し、エネルギー不足の外部記憶を避けるために、すべてのネットワークデータをオンチップメモリに格納することに制限されることが多い。与えられたアクセラレータに適合するネットワークサイズを最大化するには、メモリ使用量を最大化する必要がある。従来のping-pongバッファリング手法では,後続のアクティベーション層を分離メモリ領域にマッピングするが,これらの領域を重ね合わせてメモリをより効率的に利用するマッピング手法を提案する。本研究は,メモリオーバーラップの最大アクティベーションを計算し,メモリ制限型アクセラレータ上で畳み込みニューラルネットワークの層間処理を行うために必要なオンチップメモリの下位境界を計算する数学的モデルを提案する。実世界のオブジェクト検出ネットワークを用いた実験により,提案手法によりメモリの活性化を最大32.9%削減し,従来のピンポンバッファリングと比較してネットワーク全体のメモリを最大23.9%削減できることがわかった。高分解能の非ノイズネットワークでは、アクティベーションメモリが48.8%節約される。さらに、FPGAカメラ上に顔検出ネットワークを実装し、完全なエンドツーエンドシステム上でこれらのメモリ節約を検証する。

関連論文リスト

Efficient and accurate neural field reconstruction using resistive memory [52.68088466453264]
デジタルコンピュータにおける従来の信号再構成手法は、ソフトウェアとハードウェアの両方の課題に直面している。本稿では,スパース入力からの信号再構成のためのソフトウェア・ハードウェア協調最適化を用いた体系的アプローチを提案する。この研究は、AI駆動の信号復元技術を進歩させ、将来の効率的で堅牢な医療AIと3Dビジョンアプリケーションへの道を開く。
論文参考訳（メタデータ） (2024-04-15T09:33:09Z)
Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
論文参考訳（メタデータ） (2024-01-24T03:03:17Z)
Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks [6.03025980398201]
メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
論文参考訳（メタデータ） (2022-03-11T19:59:43Z)
Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文参考訳（メタデータ） (2021-11-22T11:23:01Z)
MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文参考訳（メタデータ） (2021-10-28T17:58:45Z)
Towards Memory-Efficient Neural Networks via Multi-Level in situ Generation [10.563649948220371]
ディープニューラルネットワーク(DNN)は、様々なタスクにおいて優れたパフォーマンスを示している。それらが急速に進化するにつれて、そのエスカレーション計算とメモリ要求により、リソースに制約のあるエッジデバイスへのデプロイが困難になる。超高速なオンチップ計算で高価なメモリトランザクションを交換するための汎用的で統一的なフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-25T18:50:24Z)
MAFAT: Memory-Aware Fusing and Tiling of Neural Networks for Accelerated Edge Inference [1.7894377200944507]
機械学習ネットワークは、利用可能なメモリを容易に越えることができ、OSの過度なスワップによってレイテンシが増加する。本稿では,メモリ使用量予測器と探索アルゴリズムを組み合わせることで,最適化されたファジングとタイリングの構成を提供する。その結果、我々のアプローチはメモリの半分以下で実行でき、メモリの厳しい制約下では最大2.78の高速化を実現している。
論文参考訳（メタデータ） (2021-07-14T19:45:49Z)
ActNN: Reducing Training Memory Footprint via 2-Bit Activation Compressed Training [68.63354877166756]
ActNNは、バック伝搬のためのランダムに量子化されたアクティベーションを格納するメモリ効率のトレーニングフレームワークである。 ActNNはアクティベーションのメモリフットプリントを12倍に削減し、6.6倍から14倍のバッチサイズでトレーニングを可能にする。
論文参考訳（メタデータ） (2021-04-29T05:50:54Z)
Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文参考訳（メタデータ） (2020-10-14T09:03:36Z)
DESCNet: Developing Efficient Scratchpad Memories for Capsule Network Hardware [12.26801463167931]
Capsule Networks(CapsNets)は、Deep Neural Networks(DNNs)と比較して、一般化能力を改善した。 CapsNetは計算とメモリの要求がかなり高く、そのエネルギー効率のよい推論は難しい課題である。本稿では,ハードウェアアクセラレーターが高速なCapsNets推論を実行する際の(オンチップ)メモリの設計と管理に関する課題を,初めて詳細に分析する。
論文参考訳（メタデータ） (2020-10-12T14:50:59Z)
Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文参考訳（メタデータ） (2020-10-05T12:01:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。