論文の概要: NASCaps: A Framework for Neural Architecture Search to Optimize the
Accuracy and Hardware Efficiency of Convolutional Capsule Networks
- arxiv url: http://arxiv.org/abs/2008.08476v1
- Date: Wed, 19 Aug 2020 14:29:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 08:50:29.615671
- Title: NASCaps: A Framework for Neural Architecture Search to Optimize the
Accuracy and Hardware Efficiency of Convolutional Capsule Networks
- Title（参考訳）: NASCaps: 畳み込みカプセルネットワークの正確性とハードウェア効率を最適化するニューラルネットワーク検索フレームワーク
- Authors: Alberto Marchisio, Andrea Massa, Vojtech Mrazek, Beatrice Bussolino,
Maurizio Martina, Muhammad Shafique
- Abstract要約: 我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。
多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。
我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
- 参考スコア（独自算出の注目度）: 10.946374356026679
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have made significant improvements to reach the
desired accuracy to be employed in a wide variety of Machine Learning (ML)
applications. Recently the Google Brain's team demonstrated the ability of
Capsule Networks (CapsNets) to encode and learn spatial correlations between
different input features, thereby obtaining superior learning capabilities
compared to traditional (i.e., non-capsule based) DNNs. However, designing
CapsNets using conventional methods is a tedious job and incurs significant
training effort. Recent studies have shown that powerful methods to
automatically select the best/optimal DNN model configuration for a given set
of applications and a training dataset are based on the Neural Architecture
Search (NAS) algorithms. Moreover, due to their extreme computational and
memory requirements, DNNs are employed using the specialized hardware
accelerators in IoT-Edge/CPS devices. In this paper, we propose NASCaps, an
automated framework for the hardware-aware NAS of different types of DNNs,
covering both traditional convolutional DNNs and CapsNets. We study the
efficacy of deploying a multi-objective Genetic Algorithm (e.g., based on the
NSGA-II algorithm). The proposed framework can jointly optimize the network
accuracy and the corresponding hardware efficiency, expressed in terms of
energy, memory, and latency of a given hardware accelerator executing the DNN
inference. Besides supporting the traditional DNN layers, our framework is the
first to model and supports the specialized capsule layers and dynamic routing
in the NAS-flow. We evaluate our framework on different datasets, generating
different network configurations, and demonstrate the tradeoffs between the
different output metrics. We will open-source the complete framework and
configurations of the Pareto-optimal architectures at
https://github.com/ehw-fit/nascaps.
- Abstract（参考訳）: Deep Neural Networks(DNN)は、幅広い機械学習(ML)アプリケーションで使用されるために望ましい精度に到達するために、大幅に改善されている。
最近Google Brainのチームは、カプセルネットワーク(Capsule Networks, CapsNets)を使って、異なる入力特徴間の空間的相関を符号化し学習し、従来の(非カプセルベース)DNNと比較して優れた学習能力を得ることができることを示した。
しかし、従来の手法によるcapsnetの設計は退屈な作業であり、大きなトレーニング努力を要している。
近年の研究では、与えられたアプリケーションとトレーニングデータセットに対して最適なDNNモデル構成を自動的に選択する強力な手法が、ニューラルネットワーク探索(NAS)アルゴリズムに基づいていることが示されている。
さらに、その極端な計算とメモリ要件のため、DNNはIoT-Edge/CPSデバイスに特別なハードウェアアクセラレータを使用する。
本稿では,従来の畳み込みDNNとCapsNetの両方をカバーする,異なるタイプのDNNのハードウェア対応NASの自動フレームワークであるNASCapsを提案する。
本稿では,多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。
提案フレームワークは、DNN推論を実行するハードウェアアクセラレーションのエネルギ、メモリ、レイテンシの観点から、ネットワークの精度とそれに対応するハードウェア効率を協調的に最適化することができる。
従来のDNNレイヤのサポートに加えて、当社のフレームワークはNASフローの特別なカプセルレイヤと動的ルーティングをモデル化し、サポートする最初のフレームワークです。
我々は、異なるデータセット上でフレームワークを評価し、異なるネットワーク構成を生成し、異なる出力メトリクス間のトレードオフを示す。
我々はpareto-optimal architecturesの完全なフレームワークと構成をhttps://github.com/ehw-fit/nascapsでオープンソース化する。
関連論文リスト
- RNC: Efficient RRAM-aware NAS and Compilation for DNNs on Resource-Constrained Edge Devices [0.30458577208819987]
我々は抵抗性ランダムアクセスメモリ(RRAM)に基づく加速器のためのエッジフレンドリーなディープニューラルネットワーク(DNN)の開発を目指している。
本稿では,特定のハードウェア制約を満たす最適化ニューラルネットワークを探索するための,エッジコンパイルとリソース制約付きRRAM対応ニューラルネットワーク探索(NAS)フレームワークを提案する。
NASが速度に最適化した結果のモデルは5x-30倍のスピードアップを達成した。
論文 参考訳（メタデータ） (2024-09-27T15:35:36Z) - NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
NNsightとNDIFは、非常に大きなニューラルネットワークの科学的研究を可能にするために、タンデムで機能する技術である。
NNsightは、遅延リモート実行を導入するためにPyTorchを拡張したオープンソースのシステムである。
NDIFは、NNsightリクエストを実行するスケーラブルな推論サービスで、GPUリソースと事前トレーニングされたモデルを共有することができる。
論文 参考訳（メタデータ） (2024-07-18T17:59:01Z) - Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
我々は,ユーザの好みをトレードオフ性能やハードウェアメトリクスにエンコードするNASアルゴリズムを提案する。
提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
論文 参考訳（メタデータ） (2024-02-28T10:09:04Z) - Optimizing Convolutional Neural Network Architecture [0.0]
畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。
我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。
提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
論文 参考訳（メタデータ） (2023-12-17T12:23:11Z) - HQNAS: Auto CNN deployment framework for joint quantization and
architecture search [30.45926484863791]
ハードウェア対応量子化ニューラルネットワーク探索(HQNAS)と呼ばれる新しいニューラルネットワーク設計フレームワークを提案する。
CIFAR10の優れたNNポリシーを見つけるのにわずか4時間しかかからない。
また、Imagenetで同等のモデルを生成するのに10パーセントのGPU時間しかかからない。
論文 参考訳（メタデータ） (2022-10-16T08:32:18Z) - Neural Attentive Circuits [93.95502541529115]
我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。
NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。
NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
論文 参考訳（メタデータ） (2022-10-14T18:00:07Z) - RoHNAS: A Neural Architecture Search Framework with Conjoint
Optimization for Adversarial Robustness and Hardware Efficiency of
Convolutional and Capsule Networks [10.946374356026679]
RoHNASは、Deep Neural Network(DNN)の対向ロバスト性とハードウェア効率を共同で最適化する新しいフレームワークである。
探索時間を短縮するため、RoHNASはNASフローで使用するデータセット毎に、逆摂動の適切な値を分析し、選択する。
論文 参考訳（メタデータ） (2022-10-11T09:14:56Z) - Comparison Analysis of Traditional Machine Learning and Deep Learning
Techniques for Data and Image Classification [62.997667081978825]
本研究の目的は、コンピュータビジョン2次元オブジェクト分類タスクに使用される最も一般的な機械学習およびディープラーニング技術を分析し比較することである。
まず、視覚語モデルと深部畳み込みニューラルネットワーク(DCNN)の理論的背景を示す。
次に、Bag of Visual Wordsモデル、VGG16 CNN Architectureを実装します。
論文 参考訳（メタデータ） (2022-04-11T11:34:43Z) - U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture
Search [50.33956216274694]
ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。
本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。
我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
論文 参考訳（メタデータ） (2022-03-23T13:44:15Z) - FLASH: Fast Neural Architecture Search with Hardware Optimization [7.263481020106725]
ニューラルアーキテクチャサーチ(NAS)は、効率的かつ高性能なディープニューラルネットワーク(DNN)を設計するための有望な手法である
本稿では,実ハードウェアプラットフォーム上でのDNNの精度と性能を協調的に最適化する,非常に高速なNAS手法であるFLASHを提案する。
論文 参考訳（メタデータ） (2021-08-01T23:46:48Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。