論文の概要: Neural network scoring for efficient computing

• arxiv url: http://arxiv.org/abs/2310.09554v1
• Date: Sat, 14 Oct 2023 10:29:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 19:41:33.059302
• Title: Neural network scoring for efficient computing
• Title（参考訳）: 効率的な計算のためのニューラルネットワークスコアリング
• Authors: Hugo Waltsburger, Erwan Libessart, Chengfang Ren, Anthony Kolar, Regis Guinvarc'h
• Abstract要約: ニューラルネットワークの推論において測定された精度と消費電力のトレードオフを特徴付ける合成スコアを提案する。 私たちの知る限りでは、ハードウェアアーキテクチャ上のニューラルアーキテクチャに対する最初の適合テストです。
• 参考スコア（独自算出の注目度）: 0.9124662097191377
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Much work has been dedicated to estimating and optimizing workloads in high-performance computing (HPC) and deep learning. However, researchers have typically relied on few metrics to assess the efficiency of those techniques. Most notably, the accuracy, the loss of the prediction, and the computational time with regard to GPUs or/and CPUs characteristics. It is rare to see figures for power consumption, partly due to the difficulty of obtaining accurate power readings. In this paper, we introduce a composite score that aims to characterize the trade-off between accuracy and power consumption measured during the inference of neural networks. For this purpose, we present a new open-source tool allowing researchers to consider more metrics: granular power consumption, but also RAM/CPU/GPU utilization, as well as storage, and network input/output (I/O). To our best knowledge, it is the first fit test for neural architectures on hardware architectures. This is made possible thanks to reproducible power efficiency measurements. We applied this procedure to state-of-the-art neural network architectures on miscellaneous hardware. One of the main applications and novelties is the measurement of algorithmic power efficiency. The objective is to allow researchers to grasp their algorithms' efficiencies better. This methodology was developed to explore trade-offs between energy usage and accuracy in neural networks. It is also useful when fitting hardware for a specific task or to compare two architectures more accurately, with architecture exploration in mind.
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)とディープラーニングにおけるワークロードの推定と最適化に多くの作業が費やされています。 しかし、研究者は通常、これらの手法の効率を評価するための指標をほとんど頼りにしていない。 最も注目すべきは、gpuまたは/およびcpu特性に関する精度、予測の損失、計算時間である。 正確な電力の読み取りが困難であることから、消費電力の数値を見ることは稀である。 本稿では,ニューラルネットワークの推論中に測定された精度と消費電力のトレードオフを特徴付ける合成スコアを提案する。 この目的のために、研究者はより詳細な電力消費だけでなく、RAM/CPU/GPU利用、ストレージ、ネットワークインプット/アウトプット(I/O)といったメトリクスを考慮できる新しいオープンソースツールを提案する。 私たちの知る限りでは、ハードウェアアーキテクチャ上のニューラルアーキテクチャに対する最初の適合テストです。 これは再現可能な電力効率の測定によって実現される。 この手順を,様々なハードウェア上の最先端のニューラルネットワークアーキテクチャに適用した。 主な応用と斬新さの1つはアルゴリズムによる電力効率の測定である。 目標は、研究者がアルゴリズムの効率をよりよく把握できるようにすることだ。 この手法は、ニューラルネットワークにおけるエネルギー使用量と精度のトレードオフを研究するために開発された。 特定のタスクにハードウェアを適合させたり、2つのアーキテクチャをより正確に比較したり、アーキテクチャの探索を念頭に置いたりするのにも便利です。

関連論文リスト

• Energy-Efficient Spiking Recurrent Neural Network for Gesture Recognition on Embedded GPUs [1.37621344207686]
  本研究では,スピーキングリカレントニューラルネットワーク(SRNN)と液体時間定数ニューロンを併用したジェスチャー認識システムについて検討した。 NVIDIA Jetson Nano組み込みGPUプラットフォームにおけるエネルギー効率と計算効率に着目した。
  論文  参考訳（メタデータ） (2024-08-23T10:50:29Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Braille Letter Reading: A Benchmark for Spatio-Temporal Pattern Recognition on Neuromorphic Hardware [50.380319968947035]
  近年の深層学習手法は,そのようなタスクにおいて精度が向上しているが,従来の組込みソリューションへの実装は依然として計算量が非常に高く,エネルギーコストも高い。 文字読み込みによるエッジにおける触覚パターン認識のための新しいベンチマークを提案する。 フィードフォワードとリカレントスパイキングニューラルネットワーク(SNN)を、サロゲート勾配の時間によるバックプロパゲーションを用いてオフラインでトレーニングし比較し、効率的な推論のためにIntel Loihimorphicチップにデプロイした。 LSTMは14%の精度で繰り返しSNNより優れており、Loihi上での繰り返しSNNは237倍のエネルギーである。
  論文  参考訳（メタデータ） (2022-05-30T14:30:45Z)
• Neural Architecture Search for Energy Efficient Always-on Audio Models [1.3846912186423144]
  我々は,ニューラルネットワーク検索(NAS)にいくつかの変更を加えて,現実的な状況における成功の可能性を改善する。 実際のハードウェアで検索のパフォーマンスをベンチマークするが、実際のハードウェアで何千ものテストを実行することは難しいため、ランダムなフォレストモデルを用いて、候補ネットワークのエネルギー使用量を概ね予測する。 その結果,AudioSetをベースとした音響イベント分類データセットを用いて,推定毎のエネルギーの桁違いが小さく,メモリフットプリントもはるかに小さくなった。
  論文  参考訳（メタデータ） (2022-02-09T06:10:18Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Thermodynamic Cost of Edge Detection in Artificial Neural Network(ANN)-Based Processors [0.0]
  エッジ検出タスクの実行を訓練したニューラルネットワーク(ANN)ベースのプロセッサにおいて,エネルギー散逸に対するアーキテクチャレベルのコントリビューションについて検討する。 結果は、フォン・ノイマンアーキテクチャに基づく汎用プロセッサよりも、特定のタスクのために訓練されたANNネットワークの本質的な効率上の利点を明らかにした。
  論文  参考訳（メタデータ） (2020-03-18T13:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。