論文の概要: Diagonal Memory Optimisation for Machine Learning on Micro-controllers
- arxiv url: http://arxiv.org/abs/2010.01668v2
- Date: Mon, 16 Nov 2020 21:40:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 04:18:41.917467
- Title: Diagonal Memory Optimisation for Machine Learning on Micro-controllers
- Title（参考訳）: マイクロコントローラを用いた機械学習のための対角メモリ最適化
- Authors: Peter Blacker, Christopher Paul Bridges, Simon Hadfield
- Abstract要約: マイクロコントローラと低消費電力CPUは、機械学習モデルによる推論の実行にますます利用されている。
これらのターゲットで利用可能な少量のRAMは、実行可能なモデルのサイズを制限する。
対角メモリ最適化技術は、11の一般的なモデルに適用した場合、最大34.5%のメモリ節約を実現するために説明され、示されている。
- 参考スコア（独自算出の注目度）: 21.222568055417717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As machine learning spreads into more and more application areas, micro
controllers and low power CPUs are increasingly being used to perform inference
with machine learning models. The capability to deploy onto these limited
hardware targets is enabling machine learning models to be used across a
diverse range of new domains. Optimising the inference process on these targets
poses different challenges from either desktop CPU or GPU implementations,
where the small amounts of RAM available on these targets sets limits on size
of models which can be executed. Analysis of the memory use patterns of eleven
machine learning models was performed. Memory load and store patterns were
observed using a modified version of the Valgrind debugging tool, identifying
memory areas holding values necessary for the calculation as inference
progressed. These analyses identified opportunities optimise the memory use of
these models by overlapping the input and output buffers of individual tensor
operations. Three methods are presented which can calculate the safe overlap of
input and output buffers for tensor operations. Ranging from a computationally
expensive approach with the ability to operate on compiled layer operations, to
a versatile analytical solution which requires access to the original source
code of the layer. The diagonal memory optimisation technique is described and
shown to achieve memory savings of up to 34.5% when applied to eleven common
models. Micro-controller targets are identified where it is only possible to
deploy some models if diagonal memory optimisation is used.
- Abstract（参考訳）: 機械学習がアプリケーション領域に広がるにつれて、マイクロコントローラと低消費電力CPUが機械学習モデルによる推論の実行にますます利用されている。
これらの限られたハードウェアターゲットにデプロイする機能により、機械学習モデルがさまざまな新しいドメインで使用できるようになる。
これらのターゲット上での推論プロセスの最適化は、デスクトップCPUやGPU実装とは異なる課題をもたらします。
11台の機械学習モデルのメモリ使用パターンの解析を行った。
valgrindデバッギングツールの修正版を使ってメモリ負荷とストアパターンを観察し、推論が進むにつれて計算に必要な値を保持するメモリ領域を特定した。
これらの分析により、個々のテンソル演算の入力バッファと出力バッファをオーバーラップすることで、これらのモデルのメモリ使用率を最適化する。
テンソル演算のための入力バッファと出力バッファの安全なオーバーラップを計算する3つの方法が提示される。
計算コストの高いアプローチやコンパイルされたレイヤ操作の操作能力から、レイヤのオリジナルのソースコードへのアクセスを必要とする汎用的な分析ソリューションまで、さまざまです。
対角メモリ最適化手法を記述し、11の共通モデルに適用すると最大34.5%のメモリ節約が得られることを示した。
マイクロコントローラターゲットは、対角メモリ最適化を使用する場合にのみ、いくつかのモデルをデプロイできる場所を特定する。
関連論文リスト
- AI and Memory Wall [81.06494558184049]
メモリ帯域幅がデコーダモデルの主要なボトルネックとなることを示す。
私たちは、このメモリ制限を克服するためのモデルアーキテクチャ、トレーニング、デプロイメント戦略の再設計を主張します。
論文 参考訳（メタデータ） (2024-03-21T04:31:59Z) - Stochastic Configuration Machines: FPGA Implementation [4.57421617811378]
コンフィグレーションネットワーク(SCN)は、データモデリングのメリットと実現可能性から、産業アプリケーションにおいて主要な選択肢である。
本稿では、フィールドプログラマブルゲートアレイ(FPGA)にSCMモデルを実装し、学習性能を向上させるためにバイナリコード入力を導入することを目的とする。
論文 参考訳（メタデータ） (2023-10-30T02:04:20Z) - SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。
学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。
本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文 参考訳（メタデータ） (2023-06-13T08:57:54Z) - Optimizing Memory Mapping Using Deep Reinforcement Learning [29.48627805378257]
本稿では,機械学習プログラムのコンパイル中に発生するメモリマッピング問題に焦点をあてる。
本稿では,強化学習を用いたメモリマッピング問題の解法を提案する。
また、Reinforcement Learning AgentであるmalocMuZeroを導入し、このゲームで新しい改良されたメモリマッピングソリューションを見つけることができることを示す。
論文 参考訳（メタデータ） (2023-05-11T11:55:16Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳（メタデータ） (2023-03-25T14:40:59Z) - Pex: Memory-efficient Microcontroller Deep Learning through Partial
Execution [11.336229510791481]
マイクロコントローラ深層学習のための新しい実行パラダイムについて論じる。
ニューラルネットワークの実行を変更して、メモリの完全なバッファーを作らないようにする。
これは演算子のプロパティを利用することで実現され、一度にインプット/アウトプットのごく一部を消費/生産することができる。
論文 参考訳（メタデータ） (2022-11-30T18:47:30Z) - Incremental Online Learning Algorithms Comparison for Gesture and Visual
Smart Sensors [68.8204255655161]
本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。
以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
論文 参考訳（メタデータ） (2022-09-01T17:05:20Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Experimentally realized memristive memory augmented neural network [0.0]
デバイス上での生涯学習は、マシンインテリジェンスにとって重要な課題だ。
メモリ拡張ニューラルネットワークは目標を達成するために提案されているが、メモリモジュールはオフチップメモリに保存されなければならない。
メモリ全体の拡張ニューラルネットワークアーキテクチャを,完全に統合されたメムリシティブなクロスバープラットフォームに実装する。
論文 参考訳（メタデータ） (2022-04-15T11:52:30Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z) - Improving compute efficacy frontiers with SliceOut [31.864949424541344]
SliceOut - 最終テスト精度に影響を与えることなく、ディープラーニングモデルを高速にトレーニングするためのドロップアウトインスパイアされたスキームだ。
テスト時に、SliceOutをオフにすると、テストの正確性を保持する一連のアーキテクチャに暗黙のアンサンブルが実行される。
これにより、大規模な計算ワークロード全体の処理が高速化され、結果として生じるエネルギー消費とCO2エミッションが大幅に削減される。
論文 参考訳（メタデータ） (2020-07-21T15:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。