論文の概要: Resource-Efficient Neural Networks for Embedded Systems

• arxiv url: http://arxiv.org/abs/2001.03048v3
• Date: Sun, 7 Apr 2024 21:04:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 19:46:03.464938
• Title: Resource-Efficient Neural Networks for Embedded Systems
• Title（参考訳）: 組み込みシステムのための資源効率の良いニューラルネットワーク
• Authors: Wolfgang Roth, Günther Schindler, Bernhard Klein, Robert Peharz, Sebastian Tschiatschek, Holger Fröning, Franz Pernkopf, Zoubin Ghahramani,
• Abstract要約: 本稿では,機械学習技術の現状について概説する。 私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。 我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
• 参考スコア（独自算出の注目度）: 23.532396005466627
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on resource-efficient inference based on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark data sets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and prediction quality.
• Abstract（参考訳）: 機械学習は伝統的にリソース集約的なタスクである一方で、組み込みシステム、自律ナビゲーション、モノのインターネット(Internet of Things)のビジョンは、リソース効率のよいアプローチへの関心を高めている。 これらのアプローチは、計算とエネルギーの観点から、パフォーマンスとリソース消費の間で慎重に選択されたトレードオフを目指している。 このようなアプローチの開発は、現在の機械学習研究における大きな課題のひとつであり、ほぼ無制限のコンピューティングリソースを持つ科学環境から日々のアプリケーションへの機械学習技術のスムーズな移行を保証するための鍵である。 本稿では,これらの現実的な要件を満たす機械学習技術の現状について概説する。 特に、過去10年で主流となった機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に注目します。 我々は、主に3つの非ミューチュアルなカテゴリーに分けられる膨大な文献の概要を概観する。 (i)量子化されたニューラルネットワーク (二)ネットワークプルーニング、及び (三)構造効率。 これらの技術は、トレーニング中や後処理として適用することができ、メモリフットプリント、推論速度、エネルギー効率の面で計算要求を減らすために広く利用されている。 また、DNN用組み込みハードウェアのさまざまな概念や、機械学習技術との互換性、エネルギーと遅延低減の可能性についても、簡単に論じる。 我々は、CPU、GPU、FPGAなどのリソース制約された組込みシステムに対して、圧縮技術(量子化、プルーニング)を用いて、よく知られたベンチマークデータセットに関する実験で、我々の議論を裏付ける。 得られた結果は,資源効率と予測品質の良好なトレードオフを見つけることの難しさを浮き彫りにした。

関連論文リスト

• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Temporal Patience: Efficient Adaptive Deep Learning for Embedded Radar Data Processing [4.359030177348051]
  本稿では,ストリーミングレーダデータに存在する時間相関を利用して,組込みデバイス上でのディープラーニング推論のための早期排他ニューラルネットワークの効率を向上させる手法を提案する。 以上の結果から,提案手法は単一排他ネットワーク上での推論当たりの演算量の最大26%を削減し,信頼度に基づく早期排他バージョンで12%を削減できることがわかった。 このような効率向上により、リソース制約のあるプラットフォーム上でリアルタイムなレーダデータ処理が可能になり、スマートホーム、インターネット・オブ・シング、人間とコンピュータのインタラクションといったコンテキストにおける新しいアプリケーションが可能になる。
  論文  参考訳（メタデータ） (2023-09-11T12:38:01Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Learnability with Time-Sharing Computational Resource Concerns [65.268245109828]
  本稿では,学習理論における計算資源の影響を考慮した理論的枠組みを提案する。 このフレームワークは、入ってくるデータストリームが潜在的に無限であるようなストリーム学習に自然に適用できる。 これはまた、インテリジェントなスーパーコンピュータオペレーティングシステムの設計に対する理論的視点を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-05-03T15:54:23Z)
• Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications [46.97774949613859]
  ディープニューラルネットワーク(DNN)は人工知能(AI)分野において前例のない成功を収めた しかし、それらの優れた性能は、計算の複雑さのかなりのコストを伴っている。 本稿では,効率的なディープラーニング手法,システム,応用について概説する。
  論文  参考訳（メタデータ） (2022-04-25T16:52:48Z)
• Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
  さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。 私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
  論文  参考訳（メタデータ） (2022-01-28T21:24:15Z)
• Resource-Efficient Deep Learning: A Survey on Model-, Arithmetic-, and Implementation-Level Techniques [10.715525749057495]
  ディープラーニングは、自動運転車、バーチャルアシスタント、ソーシャルネットワークサービス、ヘルスケアサービス、顔認識など、私たちの日常生活に広く浸透しています。 深層ニューラルネットワークは、トレーニングと推論の間にかなりの計算資源を必要とする。 本稿では、モデル、算術、実装レベルの技術の観点から、資源効率の高いディープラーニング技術について調査する。
  論文  参考訳（メタデータ） (2021-12-30T17:00:06Z)
• Machine Learning for Massive Industrial Internet of Things [69.52379407906017]
  モノのインターネット(IIoT)は、モノのインターネット技術を産業環境に統合することで、将来の製造施設に革命をもたらします。 大規模なIIoTデバイスのデプロイでは、無線ネットワークがさまざまなQoS(Quality-of-Service)要件でユビキタス接続をサポートすることは困難である。 まず、一般的な非クリティカルかつクリティカルなIIoTユースケースの要件を要約します。 次に、大規模なIIoTシナリオと対応する機械学習ソリューションのユニークな特性を、その制限と潜在的な研究方向で識別します。
  論文  参考訳（メタデータ） (2021-03-10T20:10:53Z)
• Spiking Neural Networks Hardware Implementations and Challenges: a Survey [53.429871539789445]
  スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。 スパイキングニューラルネットワークのハードウェア実装の現状について述べる。 本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
  論文  参考訳（メタデータ） (2020-05-04T13:24:00Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。