論文の概要: Sustainable AI Processing at the Edge
- arxiv url: http://arxiv.org/abs/2207.01209v1
- Date: Mon, 4 Jul 2022 05:32:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 16:32:45.836498
- Title: Sustainable AI Processing at the Edge
- Title(参考訳): エッジにおける持続可能なAI処理
- Authors: S\'ebastien Ollivier, Sheng Li, Yue Tang, Chayanika Chaudhuri, Peipei
Zhou, Xulong Tang, Jingtong Hu, and Alex K. Jones (University of Pittsburgh)
- Abstract要約: 本稿では、推論とオンライントレーニングの両方のための畳み込みニューラルネットワークアクセラレーションエンジンのトレードオフについて検討する。
特に、PIM(Process-in-Memory)アプローチ、モバイルGPUアクセラレータ、最近リリースされたFPGAの利用について検討する。
- 参考スコア(独自算出の注目度): 10.240738732324186
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Edge computing is a popular target for accelerating machine learning
algorithms supporting mobile devices without requiring the communication
latencies to handle them in the cloud. Edge deployments of machine learning
primarily consider traditional concerns such as SWaP constraints (Size, Weight,
and Power) for their installations. However, such metrics are not entirely
sufficient to consider environmental impacts from computing given the
significant contributions from embodied energy and carbon. In this paper we
explore the tradeoffs of convolutional neural network acceleration engines for
both inference and on-line training. In particular, we explore the use of
processing-in-memory (PIM) approaches, mobile GPU accelerators, and recently
released FPGAs, and compare them with novel Racetrack memory PIM. Replacing
PIM-enabled DDR3 with Racetrack memory PIM can recover its embodied energy as
quickly as 1 year. For high activity ratios, mobile GPUs can be more
sustainable but have higher embodied energy to overcome compared to PIM-enabled
Racetrack memory.
- Abstract(参考訳): エッジコンピューティングは、通信遅延をクラウドで処理することなく、モバイルデバイスをサポートする機械学習アルゴリズムを加速するための一般的なターゲットである。
機械学習のエッジデプロイメントは主に、インストールに対する制約(サイズ、重さ、パワー)のスワップなど、従来の関心事を考慮する。
しかしながら、これらの指標は、エンボディドエネルギーと炭素からの重要な貢献を考えると、コンピューティングの環境への影響を考えるのに十分ではない。
本稿では,畳み込みニューラルネットワーク加速度エンジンの推論とオンライントレーニングのトレードオフについて検討する。
特に、PIM(Process-in-Memory)アプローチ、モバイルGPUアクセラレータ、最近リリースされたFPGAの使用について検討し、新しいRacetrackメモリPIMと比較する。
レーストラックメモリPIMでPIM対応DDR3をリプレースすると、そのエンボディエネルギーは1年で回復する。
高アクティビティ比では、モバイルGPUはより持続性が高いが、PIM対応のRacetrackメモリよりもエボデードエネルギが高い。
関連論文リスト
- Full-Stack Optimization for CAM-Only DNN Inference [2.0837295518447934]
本稿では,3次重み付けニューラルネットワークと連想プロセッサのアルゴリズム最適化の組み合わせについて検討する。
演算強度を低減し,APの畳み込みを最適化する新しいコンパイルフローを提案する。
本研究では,イメージネット上でのResNet-18推論のエネルギー効率を,クロスバーメモリアクセラレータと比較して7.5倍向上させる。
論文 参考訳(メタデータ) (2024-01-23T10:27:38Z) - Random resistive memory-based deep extreme point learning machine for
unified visual processing [67.51600474104171]
ハードウェア・ソフトウェア共同設計型, ランダム抵抗型メモリベース深部極点学習マシン(DEPLM)を提案する。
我々の共同設計システムは,従来のシステムと比較して,エネルギー効率の大幅な向上とトレーニングコストの削減を実現している。
論文 参考訳(メタデータ) (2023-12-14T09:46:16Z) - EPIM: Efficient Processing-In-Memory Accelerators based on Epitome [82.74500224090265]
畳み込みのような機能を提供する軽量神経オペレータであるEpitomeを紹介する。
ソフトウェア側では,PIMアクセラレータ上でのエピトームのレイテンシとエネルギを評価する。
ハードウェア効率を向上させるため,PIM対応層設計手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T17:56:39Z) - POET: Training Neural Networks on Tiny Devices with Integrated
Rematerialization and Paging [35.397804171588476]
エッジデバイスの微調整モデルは、機密データに対するプライバシー保護のパーソナライゼーションを可能にする。
バッテリー駆動エッジデバイス上での大規模ニューラルネットワークのトレーニングを可能にするアルゴリズムであるPOETを提案する。
論文 参考訳(メタデータ) (2022-07-15T18:36:29Z) - On-Device Training Under 256KB Memory [65.76525493087847]
本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。
私たちのフレームワークは、小さなIoTデバイス上での視覚認識のデバイス上での転送学習のための、最初の実用的なソリューションです。
論文 参考訳(メタデータ) (2022-06-30T17:59:08Z) - Heterogeneous Data-Centric Architectures for Modern Data-Intensive
Applications: Case Studies in Machine Learning and Databases [9.927754948343326]
Processing-in-Memory(PIM)は、現代のアプリケーションにおけるデータ移動のボトルネックを軽減する、有望な実行パラダイムである。
本稿では,2つの現代的なデータ集約型アプリケーションに対して,PIMパラダイムの活用方法を示す。
論文 参考訳(メタデータ) (2022-05-29T13:43:17Z) - Neural-PIM: Efficient Processing-In-Memory with Neural Approximation of
Peripherals [11.31429464715989]
本稿では,ディープラーニングタスクを効率的に高速化する新しいPIMアーキテクチャを提案する。
アナログ集積回路とニューラル近似周辺回路で必要となるA/D変換を最小化する。
異なるベンチマークによる評価では、Neural-PIMはエネルギー効率を5.36x (1.73x)向上し、スループットを3.43x (1.59x)向上する。
論文 参考訳(メタデータ) (2022-01-30T16:14:49Z) - Resistive Neural Hardware Accelerators [0.46198289193451136]
ReRAMベースのインメモリコンピューティングは、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
ReRAMベースのインメモリコンピューティングへの移行は、領域と電力効率のよい推論の実装において大きな可能性を秘めている。
本稿では,最先端のReRAMベースディープニューラルネットワーク(DNN)多コアアクセラレータについて概説する。
論文 参考訳(メタデータ) (2021-09-08T21:11:48Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳(メタデータ) (2021-01-04T18:54:07Z) - To Talk or to Work: Flexible Communication Compression for Energy
Efficient Federated Learning over Heterogeneous Mobile Edge Devices [78.38046945665538]
巨大なモバイルエッジデバイス上でのフェデレーション学習(FL)は、多数のインテリジェントなモバイルアプリケーションのための新たな地平を開く。
FLは、定期的なグローバル同期と継続的なローカルトレーニングにより、参加するデバイスに膨大な通信と計算負荷を課す。
フレキシブルな通信圧縮を可能にする収束保証FLアルゴリズムを開発。
論文 参考訳(メタデータ) (2020-12-22T02:54:18Z) - One-step regression and classification with crosspoint resistive memory
arrays [62.997667081978825]
高速で低エネルギーのコンピュータは、エッジでリアルタイム人工知能を実現するために要求されている。
ワンステップ学習は、ボストンの住宅のコスト予測と、MNIST桁認識のための2層ニューラルネットワークのトレーニングによって支援される。
結果は、クロスポイントアレイ内の物理計算、並列計算、アナログ計算のおかげで、1つの計算ステップで得られる。
論文 参考訳(メタデータ) (2020-05-05T08:00:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。