論文の概要: Memory-efficient Energy-adaptive Inference of Pre-Trained Models on Batteryless Embedded Systems

• arxiv url: http://arxiv.org/abs/2405.10426v1
• Date: Thu, 16 May 2024 20:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-20 17:33:08.621102
• Title: Memory-efficient Energy-adaptive Inference of Pre-Trained Models on Batteryless Embedded Systems
• Title（参考訳）: 電池レス組込みシステムにおける事前学習モデルのメモリ効率を考慮したエネルギー適応推論
• Authors: Pietro Farina, Subrata Biswas, Eren Yıldız, Khakim Akhunov, Saad Ahmed, Bashima Islam, Kasım Sinan Yıldırım,
• Abstract要約: バッテリーレスシステムは、しばしば電力障害に直面し、進捗を維持するために余分なランタイムバッファを必要とし、超小さなディープニューラルネットワーク(DNN)を格納するためのメモリスペースだけを残します。 電池レスシステムにおけるメモリ効率とエネルギー順応性推論のために,事前学習したDNNモデルを最適化するフレームワークであるFreeMLを提案する。 実験の結果,FreeML はモデルサイズを最大 95 倍まで削減し,適応推論を 2.03-19.65 倍のメモリオーバーヘッドでサポートし,最先端技術と比較して無視できる精度の低下のみを伴って,大幅な時間とエネルギーのメリットを提供することがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batteryless systems frequently face power failures, requiring extra runtime buffers to maintain inference progress and leaving only a memory space for storing ultra-tiny deep neural networks (DNNs). Besides, making these models responsive to stochastic energy harvesting dynamics during inference requires a balance between inference accuracy, latency, and energy overhead. Recent works on compression mostly focus on time and memory, but often ignore energy dynamics or significantly reduce the accuracy of pre-trained DNNs. Existing energy-adaptive inference works modify the architecture of pre-trained models and have significant memory overhead. Thus, energy-adaptive and accurate inference of pre-trained DNNs on batteryless devices with extreme memory constraints is more challenging than traditional microcontrollers. We combat these issues by proposing FreeML, a framework to optimize pre-trained DNN models for memory-efficient and energy-adaptive inference on batteryless systems. FreeML comprises (1) a novel compression technique to reduce the model footprint and runtime memory requirements simultaneously, making them executable on extremely memory-constrained batteryless platforms; and (2) the first early exit mechanism that uses a single exit branch for all exit points to terminate inference at any time, making models energy-adaptive with minimal memory overhead. Our experiments showed that FreeML reduces the model sizes by up to $95 \times$, supports adaptive inference with a $2.03-19.65 \times$ less memory overhead, and provides significant time and energy benefits with only a negligible accuracy drop compared to the state-of-the-art.
• Abstract（参考訳）: バッテリーレスシステムは、しばしば電力障害に直面し、推論の進捗を維持するために余分なランタイムバッファを必要とし、超小型のディープニューラルネットワーク(DNN)を格納するためのメモリスペースだけを残している。 さらに、これらのモデルを推論中に確率的エネルギー収穫のダイナミクスに応答させるには、推論精度、レイテンシ、エネルギーオーバーヘッドのバランスが必要である。 圧縮に関する最近の研究は、主に時間と記憶に焦点を当てているが、エネルギー力学を無視したり、事前訓練されたDNNの精度を大幅に低下させたりすることが多い。 既存のエネルギー適応推論は、事前訓練されたモデルのアーキテクチャを変更し、大きなメモリオーバーヘッドを持つ。 したがって、バッテリーレスデバイス上でのDNNのエネルギー適応的かつ正確な推定は、従来のマイクロコントローラよりも困難である。 バッテリーレスシステムにおけるメモリ効率とエネルギー順応性推論のために,事前学習したDNNモデルを最適化するフレームワークであるFreeMLを提案することで,これらの問題に対処する。 FreeMLは,(1)モデルフットプリントと実行時のメモリ要求を同時に削減し,極めてメモリに制約のあるバッテリレスプラットフォーム上で実行可能にする新しい圧縮技術と,(2)すべてのエグジットポイントに対してひとつのエグジットブランチを使用して推論を終了する最初の早期エグジット機構を備え,メモリオーバーヘッドを最小限に抑える。 実験の結果,FreeML はモデルサイズを最大 95 \times$ まで削減し,適応推論を2.03-19.65 \times$ より少ないメモリオーバーヘッドでサポートし,最先端と比較して無視できる精度の低下のみを伴って,大幅な時間とエネルギーのメリットを提供することがわかった。

関連論文リスト

• Energy-efficiency Limits on Training AI Systems using Learning-in-Memory [5.44286162776241]
  我々は、異なる学習インメモリアプローチを用いてAIシステムのトレーニングを行う際に、エネルギー散逸に関する新たな理論的な下限を導出する。 我々の予測では、LIMを用いた脳規模のAIシステムをトレーニングするためのエネルギー消費は108 sim 109$ Joulesであることが示唆されている。
  論文  参考訳（メタデータ） (2024-02-21T21:02:11Z)
• Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
  本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。 演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。 本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
  論文  参考訳（メタデータ） (2024-01-23T10:27:38Z)
• NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [50.00272243518593]
  ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は問題の多いままである。 我々は低電圧状態におけるエネルギー精度のトレードオフを処理する新しいアドオンモジュールであるNeuralFuseを開発した。 1%のビットエラー率で、NeuralFuseはアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-29T11:38:22Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging [35.397804171588476]
  エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。 バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
  論文  参考訳（メタデータ） (2022-07-15T18:36:29Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• Efficient Fine-Tuning of BERT Models on the Edge [12.768368718187428]
  BERTのようなモデルのためのメモリ効率のよいトレーニングシステムであるFreeze And Reconfigure (FAR)を提案する。 FARは、DistilBERTモデルとCoLAデータセットの微調整時間を30%削減し、メモリ操作に費やした時間を47%削減する。 より広い範囲では、GLUEとSQuADデータセットのメトリックパフォーマンスの低下は平均で約1%である。
  論文  参考訳（メタデータ） (2022-05-03T14:51:53Z)
• Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
  本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。 Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。 ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
  論文  参考訳（メタデータ） (2021-11-22T11:23:01Z)
• Neural Network Compression for Noisy Storage Devices [71.4102472611862]
  従来、モデル圧縮と物理ストレージは分離される。 このアプローチでは、ストレージは圧縮されたモデルの各ビットを等しく扱い、各ビットに同じ量のリソースを割り当てるように強制される。 i) 各メモリセルの容量を最大化するためにアナログメモリを使用し, (ii) モデル圧縮と物理ストレージを共同で最適化し, メモリの有用性を最大化する。
  論文  参考訳（メタデータ） (2021-02-15T18:19:07Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。