論文の概要: Efficient Post-Training Augmentation for Adaptive Inference in
Heterogeneous and Distributed IoT Environments
- arxiv url: http://arxiv.org/abs/2403.07957v1
- Date: Tue, 12 Mar 2024 08:27:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 16:55:00.270672
- Title: Efficient Post-Training Augmentation for Adaptive Inference in
Heterogeneous and Distributed IoT Environments
- Title（参考訳）: 適応推論のための訓練後の効率向上
不均一で分散IoT環境
- Authors: Max Sponner and Lorenzo Servadei and Bernd Waschneck and Robert Wille
and Akash Kumar
- Abstract要約: Early Exit Neural Networks (EENN)は、ニューラルネットワークのデプロイメントの効率を高めるソリューションを提供する。
本稿では,既存のモデルをEENNに変換することに焦点を当てた自動拡張フローを提案する。
本フレームワークはEENNアーキテクチャを構築し,そのサブグラフをハードウェアターゲットにマップし,その決定機構を構成する。
- 参考スコア（独自算出の注目度）: 4.343246899774834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Early Exit Neural Networks (EENNs) present a solution to enhance the
efficiency of neural network deployments. However, creating EENNs is
challenging and requires specialized domain knowledge, due to the large amount
of additional design choices. To address this issue, we propose an automated
augmentation flow that focuses on converting an existing model into an EENN. It
performs all required design decisions for the deployment to heterogeneous or
distributed hardware targets: Our framework constructs the EENN architecture,
maps its subgraphs to the hardware targets, and configures its decision
mechanism. To the best of our knowledge, it is the first framework that is able
to perform all of these steps.
We evaluated our approach on a collection of Internet-of-Things and standard
image classification use cases. For a speech command detection task, our
solution was able to reduce the mean operations per inference by 59.67%. For an
ECG classification task, it was able to terminate all samples early, reducing
the mean inference energy by 74.9% and computations by 78.3%. On CIFAR-10, our
solution was able to achieve up to a 58.75% reduction in computations.
The search on a ResNet-152 base model for CIFAR-10 took less than nine hours
on a laptop CPU. Our proposed approach enables the creation of EENN optimized
for IoT environments and can reduce the inference cost of Deep Learning
applications on embedded and fog platforms, while also significantly reducing
the search cost - making it more accessible for scientists and engineers in
industry and research. The low search cost improves the accessibility of EENNs,
with the potential to improve the efficiency of neural networks in a wide range
of practical applications.
- Abstract（参考訳）: Early Exit Neural Networks (EENN)は、ニューラルネットワークのデプロイメントの効率を高めるソリューションを提供する。
しかし、EENNの作成は困難であり、多くの設計上の選択肢があるため、専門的なドメイン知識が必要である。
この問題に対処するために,既存のモデルをEENNに変換することに焦点を当てた自動拡張フローを提案する。
我々のフレームワークはEENNアーキテクチャを構築し、そのサブグラフをハードウェアターゲットにマップし、その決定機構を設定します。
私たちの知る限りでは、これらすべてのステップを実行できる最初のフレームワークです。
我々は,インターネット・オブ・Thingsと標準画像分類のユースケースの集合に対するアプローチを評価した。
音声コマンド検出タスクでは,推論あたりの平均操作量を59.67%削減することができた。
ECG分類タスクでは、全てのサンプルを早期に停止することができ、平均推論エネルギーを74.9%削減し、計算を78.3%削減した。
CIFAR-10では,最大58.75%の削減が可能であった。
CIFAR-10用のResNet-152ベースモデルの検索は、ラップトップのCPUで9時間もかからなかった。
提案したアプローチにより、IoT環境に最適化されたEENNの作成が可能になり、組み込みプラットフォームやフォグプラットフォーム上でのディープラーニングアプリケーションの推論コストを低減できると同時に、検索コストを大幅に削減することが可能になります。
検索コストの低いため、EENNのアクセシビリティが向上し、幅広い応用分野においてニューラルネットワークの効率が向上する可能性がある。
関連論文リスト
- Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。
総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2024-03-21T02:33:37Z) - NACHOS: Neural Architecture Search for Hardware Constrained Early Exit
Neural Networks [6.279164022876874]
Early Exit Neural Networks(EENN)は、Early Exit(EEC)を備えた非標準ディープニューラルネットワーク(DNN)を提供する
本研究は,ハードウェア制約付き早期排他ニューラルネットワーク(NACHOS)のためのニューラルアーキテクチャ探索である。
NACHOSは、推論時にEENNが実行する乗算および累積(MAC)操作の精度と数に制約を満たす最適なEENNを設計するための最初のNASフレームワークである。
論文 参考訳（メタデータ） (2024-01-24T09:48:12Z) - Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision
Quantization [1.0235078178220354]
本稿では, プルーニングと量子化を併用してハードウェアに配慮したディープニューラルネットワーク(DNN)の自動圧縮フレームワークを提案する。
われわれのフレームワークはデータセットの平均エネルギー消費量を39%減らし、平均精度損失を1.7%減らし、最先端のアプローチを著しく上回っている。
論文 参考訳（メタデータ） (2023-12-23T18:50:13Z) - DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。
DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。
NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
論文 参考訳（メタデータ） (2023-09-26T04:48:50Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - Optimising complexity of CNN models for resource constrained devices:
QRS detection case study [1.6822770693792823]
本稿では,事後処理と組み合わせて,良好な性能を実現するための浅層CNNモデルを提案する。
IoMTアプリケーションのコンテキストでは、ECG信号からのQRS検出とRピークの局所化がケーススタディとして行われ、CNNモデルと後処理の複雑さが変化した。
私たちの知る限りでは、CNNモデルの複雑さを漸進的に増加させ、後処理の強みを活用することで、デプロイ可能な構成を見つけることが、その最初の方法です。
論文 参考訳（メタデータ） (2023-01-23T00:22:37Z) - FreeREA: Training-Free Evolution-based Architecture Search [17.202375422110553]
FreeREAは、トレーニングなしメトリクスの最適化組み合わせを利用してアーキテクチャをランク付けする、独自のセルベースの進化NASアルゴリズムである。
本実験はNAS-Bench-101とNATS-Benchの共通ベンチマークを用いて,フリーレアがモデル自動設計のための高速で効率的かつ効果的な探索手法であることを実証した。
論文 参考訳（メタデータ） (2022-06-17T11:16:28Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - ALF: Autoencoder-based Low-rank Filter-sharing for Efficient
Convolutional Neural Networks [63.91384986073851]
オートエンコーダを用いた低ランクフィルタ共有技術(ALF)を提案する。
ALFは、ネットワークパラメータの70%、オペレーションの61%、実行時間の41%を削減し、精度の低下を最小限にしている。
論文 参考訳（メタデータ） (2020-07-27T09:01:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。