論文の概要: ENAS4D: Efficient Multi-stage CNN Architecture Search for Dynamic
Inference
- arxiv url: http://arxiv.org/abs/2009.09182v1
- Date: Sat, 19 Sep 2020 08:08:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-16 21:29:07.408019
- Title: ENAS4D: Efficient Multi-stage CNN Architecture Search for Dynamic
Inference
- Title（参考訳）: ENAS4D:動的推論のための効率的なマルチステージCNNアーキテクチャ探索
- Authors: Zhihang Yuan, Xin Liu, Bingzhe Wu, Guangyu Sun
- Abstract要約: 本稿では,最適なマルチステージCNNアーキテクチャを効率的に探索できる汎用フレームワークENAS4Dを提案する。
ImageNet分類タスクの実験では、ENAS4Dによって探索された多段CNNが、ダンマ推論の最先端手法を一貫して上回っていることが示された。
- 参考スコア（独自算出の注目度）: 12.15628508314535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic inference is a feasible way to reduce the computational cost of
convolutional neural network(CNN), which can dynamically adjust the computation
for each input sample. One of the ways to achieve dynamic inference is to use
multi-stage neural network, which contains a sub-network with prediction layer
at each stage. The inference of a input sample can exit from early stage if the
prediction of the stage is confident enough. However, design a multi-stage CNN
architecture is a non-trivial task. In this paper, we introduce a general
framework, ENAS4D, which can efficiently search for optimal multi-stage CNN
architecture for dynamic inference in a well-designed search space. Firstly, we
propose a method to construct the search space with multi-stage convolution.
The search space include different numbers of layers, different kernel sizes
and different numbers of channels for each stage and the resolution of input
samples. Then, we train a once-for-all network that supports to sample diverse
multi-stage CNN architecture. A specialized multi-stage network can be obtained
from the once-for-all network without additional training. Finally, we devise a
method to efficiently search for the optimal multi-stage network that trades
the accuracy off the computational cost taking the advantage of once-for-all
network. The experiments on the ImageNet classification task demonstrate that
the multi-stage CNNs searched by ENAS4D consistently outperform the
state-of-the-art method for dyanmic inference. In particular, the network
achieves 74.4% ImageNet top-1 accuracy under 185M average MACs.
- Abstract（参考訳）: 動的推論は畳み込みニューラルネットワーク(CNN)の計算コストを削減するための実現可能な方法であり、各入力サンプルの計算を動的に調整することができる。
動的推論を実現する方法の1つは、各ステージに予測層を持つサブネットワークを含むマルチステージニューラルネットワークを使用することである。
入力サンプルの推論は、ステージの予測が十分に自信を持っていれば、早期段階から離脱することができる。
しかし、マルチステージCNNアーキテクチャを設計するのは簡単ではない。
本稿では,よく設計された検索空間における動的推論のための最適多段階CNNアーキテクチャを効率的に探索できる汎用フレームワークENAS4Dを提案する。
まず,多段階畳み込みを用いた探索空間構築手法を提案する。
検索空間には、異なるレイヤー数、異なるカーネルサイズ、各ステージの異なるチャンネル数、入力サンプルの解像度が含まれる。
そして、多様なマルチステージCNNアーキテクチャのサンプリングをサポートする、一度限りのネットワークをトレーニングする。
特別な多段階ネットワークは、追加のトレーニングなしで、一度限りのネットワークから得ることができる。
最後に,1回限りのネットワークを利用して計算コストから精度をトレードオフする最適多段階ネットワークを効率的に探索する手法を提案する。
ImageNet分類タスクの実験は、ENAS4Dによって探索された多段CNNが、ダンマ推論の最先端手法よりも一貫して優れていることを示した。
特に、ネットワークは平均185mのmacで74.4%のimagenet top-1精度を達成している。
関連論文リスト
- Training Convolutional Neural Networks with the Forward-Forward
algorithm [1.74440662023704]
Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。
FFパラダイムをCNNに拡張する方法を示す。
我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
論文 参考訳（メタデータ） (2023-12-22T18:56:35Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳（メタデータ） (2023-05-31T21:00:50Z) - OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳（メタデータ） (2023-03-23T21:30:29Z) - Towards a General Purpose CNN for Long Range Dependencies in
$\mathrm{N}$D [49.57261544331683]
構造変化のない任意の解像度,次元,長さのタスクに対して,連続的な畳み込みカーネルを備えた単一CNNアーキテクチャを提案する。
1$mathrmD$)とビジュアルデータ(2$mathrmD$)の幅広いタスクに同じCCNNを適用することで、我々のアプローチの汎用性を示す。
私たちのCCNNは競争力があり、検討されたすべてのタスクで現在の最先端を上回ります。
論文 参考訳（メタデータ） (2022-06-07T15:48:02Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Finding Non-Uniform Quantization Schemes using Multi-Task Gaussian
Processes [12.798516310559375]
その結果,最後の層では精度が著しく低いため,メモリの節約を図りながら精度の低下が最小限に抑えられることがわかった。
我々は,VGG,ResNet,GoogLeNetアーキテクチャを用いて,CIFAR10およびImageNetデータセット上で実験を行った。
論文 参考訳（メタデータ） (2020-07-15T15:16:18Z) - DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。
ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文 参考訳（メタデータ） (2020-05-29T09:02:16Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Fast Neural Network Adaptation via Parameter Remapping and Architecture
Search [35.61441231491448]
ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。
ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。
しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。
本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
論文 参考訳（メタデータ） (2020-01-08T13:45:15Z) - Inferring Convolutional Neural Networks' accuracies from their
architectural characterizations [0.0]
CNNのアーキテクチャと性能の関係について検討する。
本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。
我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
論文 参考訳（メタデータ） (2020-01-07T16:41:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。