論文の概要: Resource-Efficient Neural Networks for Embedded Systems
- arxiv url: http://arxiv.org/abs/2001.03048v2
- Date: Fri, 9 Dec 2022 20:44:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 20:15:38.030995
- Title: Resource-Efficient Neural Networks for Embedded Systems
- Title（参考訳）: 組み込みシステムのための資源効率のよいニューラルネットワーク
- Authors: Wolfgang Roth, G\"unther Schindler, Bernhard Klein, Robert Peharz,
Sebastian Tschiatschek, Holger Fr\"oning, Franz Pernkopf, Zoubin Ghahramani
- Abstract要約: 私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に注目しています。
i) 量子化されたニューラルネットワーク, (ii) ネットワークプルーニング, (iii) 構造効率の3つの非相互排他的なカテゴリに分けることができる。
資源制約された組込みシステムに対する圧縮技術(量子化, プルーニング)を用いて、よく知られたベンチマークデータセットの実験により、我々の議論を裏付ける。
- 参考スコア（独自算出の注目度）: 33.378784455191756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While machine learning is traditionally a resource intensive task, embedded
systems, autonomous navigation, and the vision of the Internet of Things fuel
the interest in resource-efficient approaches. These approaches aim for a
carefully chosen trade-off between performance and resource consumption in
terms of computation and energy. The development of such approaches is among
the major challenges in current machine learning research and key to ensure a
smooth transition of machine learning technology from a scientific environment
with virtually unlimited computing resources into everyday's applications. In
this article, we provide an overview of the current state of the art of machine
learning techniques facilitating these real-world requirements. In particular,
we focus on deep neural networks (DNNs), the predominant machine learning
models of the past decade. We give a comprehensive overview of the vast
literature that can be mainly split into three non-mutually exclusive
categories: (i) quantized neural networks, (ii) network pruning, and (iii)
structural efficiency. These techniques can be applied during training or as
post-processing, and they are widely used to reduce the computational demands
in terms of memory footprint, inference speed, and energy efficiency. We also
briefly discuss different concepts of embedded hardware for DNNs and their
compatibility with machine learning techniques as well as potential for energy
and latency reduction. We substantiate our discussion with experiments on
well-known benchmark datasets using compression techniques (quantization,
pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs
and FPGAs. The obtained results highlight the difficulty of finding good
trade-offs between resource efficiency and predictive performance.
- Abstract（参考訳）: 機械学習は伝統的にリソース集約的なタスクだが、組み込みシステム、自律ナビゲーション、モノのインターネットのビジョンは、リソース効率のよいアプローチへの関心を高めている。
これらのアプローチは、計算とエネルギーの観点から、パフォーマンスとリソース消費の間で慎重に選択されたトレードオフを目指している。
このようなアプローチの開発は、現在の機械学習研究における大きな課題のひとつであり、ほぼ無制限のコンピューティングリソースを持つ科学環境から日々のアプリケーションへの機械学習技術のスムーズな移行を保証するための鍵である。
本稿では,これらの実世界の要求を円滑にするための機械学習技術の現状について概観する。
特に、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に焦点を当てています。
我々は、主に3つの非ミューチュアルなカテゴリーに分けられる膨大な文献の概要を概観する。
(i)量子化されたニューラルネットワーク
(ii)ネットワークの刈り込み、
(iii)構造効率。
これらの技術は、トレーニング中や後処理として適用することができ、メモリフットプリント、推論速度、エネルギー効率の面で計算要求を減らすために広く利用されている。
また、DNN用組み込みハードウェアのさまざまな概念や、機械学習技術との互換性、エネルギーと遅延低減の可能性についても簡単に議論する。
我々は,cpu,gpu,fpgaなどのリソースに制約のある組込みシステムに対して,圧縮技術(量子化,プルーニング)を用いて,よく知られたベンチマークデータセットに関する実験を行った。
その結果,資源効率と予測性能の良好なトレードオフを見出すことの難しさが明らかになった。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar
Data Processing [4.359030177348051]
本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。
以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。
このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
論文 参考訳（メタデータ） (2023-09-11T12:38:01Z) - Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
論文 参考訳（メタデータ） (2023-08-27T03:55:28Z) - Learnability with Time-Sharing Computational Resource Concerns [65.268245109828]
本稿では,学習理論における計算資源の影響を考慮した理論的枠組みを提案する。
このフレームワークは、入ってくるデータストリームが潜在的に無限であるようなストリーム学習に自然に適用できる。
これはまた、インテリジェントなスーパーコンピュータオペレーティングシステムの設計に対する理論的視点を提供するかもしれない。
論文 参考訳（メタデータ） (2023-05-03T15:54:23Z) - Enable Deep Learning on Mobile Devices: Methods, Systems, and
Applications [46.97774949613859]
ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた
しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。
本稿では,効率的なディープラーニング手法,システム,応用について概説する。
論文 参考訳（メタデータ） (2022-04-25T16:52:48Z) - Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。
私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文 参考訳（メタデータ） (2022-01-28T21:24:15Z) - Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and
Implementation-Level Techniques [10.715525749057495]
ディープラーニングは、自動運転車、バーチャルアシスタント、ソーシャルネットワークサービス、ヘルスケアサービス、顔認識など、私たちの日常生活に広く浸透しています。
深層ニューラルネットワークは、トレーニングと推論の間にかなりの計算資源を必要とする。
本稿では、モデル、算術、実装レベルの技術の観点から、資源効率の高いディープラーニング技術について調査する。
論文 参考訳（メタデータ） (2021-12-30T17:00:06Z) - Machine Learning for Massive Industrial Internet of Things [69.52379407906017]
モノのインターネット(IIoT)は、モノのインターネット技術を産業環境に統合することで、将来の製造施設に革命をもたらします。
大規模なIIoTデバイスのデプロイでは、無線ネットワークがさまざまなQoS(Quality-of-Service)要件でユビキタス接続をサポートすることは困難である。
まず、一般的な非クリティカルかつクリティカルなIIoTユースケースの要件を要約します。
次に、大規模なIIoTシナリオと対応する機械学習ソリューションのユニークな特性を、その制限と潜在的な研究方向で識別します。
論文 参考訳（メタデータ） (2021-03-10T20:10:53Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。