論文の概要: Efficient Memory Management for Deep Neural Net Inference

• arxiv url: http://arxiv.org/abs/2001.03288v3
• Date: Sun, 16 Feb 2020 02:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 22:45:24.661254
• Title: Efficient Memory Management for Deep Neural Net Inference
• Title（参考訳）: ディープニューラルネット推論のための効率的なメモリ管理
• Authors: Yury Pisarchyk and Juhyun Lee
• Abstract要約: ディープニューラルネット推論は、レイテンシからプライバシに至るまで、さまざまな理由で望まれるモバイルおよび組み込みデバイスに移行できるようになった。 これらのデバイスは、計算能力とバッテリだけでなく、劣る物理メモリとキャッシュによって制限されるため、効率的なメモリマネージャは、エッジでのディープニューラルネットワーク推論において重要なコンポーネントとなる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural net inference was considered a task for servers only, latest advances in technology allow the task of inference to be moved to mobile and embedded devices, desired for various reasons ranging from latency to privacy. These devices are not only limited by their compute power and battery, but also by their inferior physical memory and cache, and thus, an efficient memory manager becomes a crucial component for deep neural net inference at the edge. We explore various strategies to smartly share memory buffers among intermediate tensors in deep neural nets. Employing these can result in up to 11% smaller memory footprint than the state of the art.
• Abstract（参考訳）: ディープニューラルネットワーク推論はサーバのみのタスクと考えられていたが、最新の技術進歩により、レイテンシからプライバシに至るまで、さまざまな理由から、推論タスクをモバイルおよび組み込みデバイスに移行することが可能になった。 これらのデバイスは、計算能力やバッテリによって制限されるだけでなく、物理メモリやキャッシュが劣るため、効率的なメモリマネージャは、エッジにおけるディープニューラルネットワーク推論の重要なコンポーネントとなる。 我々は,ディープニューラルネットの中間テンソル間でメモリバッファをスマートに共有する様々な戦略を検討する。 これらを採用すると、最大11%のメモリフットプリントがアートの状態よりも小さくなる。

関連論文リスト

• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks [6.03025980398201]
  メモリ拡張ニューラルネットワークは、外部キー値メモリを備えたニューラルネットワークを強化する。 本稿では,サポートベクトルの数からその次元を分離する一般化キー値メモリを提案する。 このパラメータを需要に適応させることは、デバイス数と精度で、44%の非理想性を効果的に軽減できることを示す。
  論文  参考訳（メタデータ） (2022-03-11T19:59:43Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Binary Neural Network for Speaker Verification [13.472791713805762]
  本稿では,二元的ニューラルネットワークを話者検証の課題に適用する方法に焦点をあてる。 実験の結果、Convolutional Neural Networkをバイナライズした後、ResNet34ベースのネットワークは約5%のEERを達成した。
  論文  参考訳（メタデータ） (2021-04-06T06:04:57Z)
• Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
  メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。 この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。 本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-05T12:01:56Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Low-Rank Training of Deep Neural Networks for Emerging Memory Technology [4.456122555367167]
  非揮発性メモリを持つエッジデバイス上でのトレーニングには,低書き込み密度と低補助メモリという2つの課題に対処する。 計算効率を保ちながらこれらの課題に対処する低ランクトレーニング方式を提案する。
  論文  参考訳（メタデータ） (2020-09-08T17:59:56Z)
• TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices [71.68436132514542]
  エッジ上でのオンデバイス音声認識のための低フットプリント,高効率深層ニューラルネットワーク構築のためのアテンションコンデンサの概念を紹介する。 その有効性を説明するために,デバイス上での音声認識に適した低精度深層ニューラルネットワークTinySpeechを導入する。
  論文  参考訳（メタデータ） (2020-08-10T16:34:52Z)
• Improving Memory Utilization in Convolutional Neural Network Accelerators [16.340620299847384]
  本稿では,アクティベーション層を重複させ,メモリをより効率的に利用するためのマッピング手法を提案する。 様々な実世界のオブジェクト検出器ネットワークによる実験により、提案されたマッピング技術により、メモリのアクティベーションを最大32.9%削減できることが示された。 より高解像度のノイズ除去ネットワークでは、活性化メモリの48.8%の節約を実現している。
  論文  参考訳（メタデータ） (2020-07-20T09:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。