論文の概要: POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging

• arxiv url: http://arxiv.org/abs/2207.07697v1
• Date: Fri, 15 Jul 2022 18:36:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-20 07:14:23.050610
• Title: POET: Training Neural Networks on Tiny Devices with Integrated Rematerialization and Paging
• Title（参考訳）: POET:再物質化とページングを統合したティニーデバイス上でのニューラルネットワークのトレーニング
• Authors: Shishir G. Patil, Paras Jain, Prabal Dutta, Ion Stoica, Joseph E. Gonzalez
• Abstract要約: エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。 バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
• 参考スコア（独自算出の注目度）: 35.397804171588476
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning models on edge devices like mobile phones would enable privacy-preserving personalization over sensitive data. However, edge training has historically been limited to relatively small models with simple architectures because training is both memory and energy intensive. We present POET, an algorithm to enable training large neural networks on memory-scarce battery-operated edge devices. POET jointly optimizes the integrated search search spaces of rematerialization and paging, two algorithms to reduce the memory consumption of backpropagation. Given a memory budget and a run-time constraint, we formulate a mixed-integer linear program (MILP) for energy-optimal training. Our approach enables training significantly larger models on embedded devices while reducing energy consumption while not modifying mathematical correctness of backpropagation. We demonstrate that it is possible to fine-tune both ResNet-18 and BERT within the memory constraints of a Cortex-M class embedded device while outperforming current edge training methods in energy efficiency. POET is an open-source project available at https://github.com/ShishirPatil/poet
• Abstract（参考訳）: 携帯電話のようなエッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。 しかし、エッジトレーニングはメモリとエネルギーの両方が集中しているため、従来は単純なアーキテクチャを持つ比較的小さなモデルに限られていた。 バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。 POETは、バックプロパゲーションのメモリ消費を減らすための2つのアルゴリズムである、再物質化とページングの統合検索空間を共同で最適化する。 メモリ予算と実行時の制約を考慮し、エネルギー最適トレーニングのための混合整数線形プログラム(MILP)を定式化する。 提案手法は,バックプロパゲーションの数学的正しさを変更せず,エネルギー消費を低減しながら,組み込みデバイス上で大幅に大きなモデルのトレーニングを可能にする。 我々は,Cortex-Mクラス組み込みデバイスのメモリ制約内でResNet-18とBERTの両方を微調整することが可能であり,エネルギー効率において現在のエッジトレーニング手法より優れていることを示す。 POETは、https://github.com/ShishirPatil/poetで入手できるオープンソースプロジェクトである。

関連論文リスト

• Center-Sensitive Kernel Optimization for Efficient On-Device Incremental Learning [88.78080749909665]
  現在のオンデバイストレーニング手法は、破滅的な忘れを考慮せずに、効率的なトレーニングにのみ焦点をあてている。 本稿では,単純だが効果的なエッジフレンドリーなインクリメンタル学習フレームワークを提案する。 本手法は,メモリの削減と近似計算により,平均精度38.08%の高速化を実現する。
  論文  参考訳（メタデータ） (2024-06-13T05:49:29Z)
• SCoTTi: Save Computation at Training Time with an adaptive framework [7.780766187171572]
  デバイス上でのトレーニングは、エッジデバイス上でモデルをトレーニングする機械学習における新たなアプローチである。 本研究では,SCoTTi(Save Computation at Training Time)を提案する。 提案手法は, 様々なベンチマークにおいて, 計算資源の節約に関する最先端手法と比較して, 優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T16:19:33Z)
• TinyTrain: Resource-Aware Task-Adaptive Sparse Training of DNNs at the Data-Scarce Edge [27.533985670823945]
  TinyTrainは、モデルの一部を選択的に更新することで、トレーニング時間を劇的に短縮するオンデバイストレーニングアプローチである。 TinyTrainはネットワーク全体のバニラ微調整を3.6-5.0%精度で上回る。 9.5倍の高速化と3.5倍のエネルギー効率のトレーニングを実現している。
  論文  参考訳（メタデータ） (2023-07-19T13:49:12Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the Edge [72.16021611888165]
  本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。 提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。 以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-26T21:15:17Z)
• RCT: Resource Constrained Training for Edge AI [35.11160947555767]
  既存のコンパクトモデルのトレーニング方法は、メモリとエネルギーの予算が豊富な強力なサーバ上で動くように設計されている。 これらの問題を解決するため、RCT(Resource Constrained Training)を提案します。 RCTは、トレーニング中、量子化されたモデルのみを調整し、トレーニング中のモデルパラメータのメモリ要求を低減します。
  論文  参考訳（メタデータ） (2021-03-26T14:33:31Z)
• SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training [82.35376405568975]
  ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
  論文  参考訳（メタデータ） (2021-01-04T18:54:07Z)
• Low-rank Gradient Approximation For Memory-Efficient On-device Training of Deep Neural Network [9.753369031264532]
  モバイルデバイス上で機械学習モデルをトレーニングすることは、モデルのプライバシと精度の両方を改善する可能性がある。 この目標を達成する上での大きな障害のひとつは、モバイルデバイスのメモリ制限である。 本稿では,低ランクパラメータ化を用いた深層ニューラルネットワークの勾配行列の近似手法を提案する。
  論文  参考訳（メタデータ） (2020-01-24T05:12:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。