論文の概要: Binarized Neural Architecture Search for Efficient Object Recognition
- arxiv url: http://arxiv.org/abs/2009.04247v1
- Date: Tue, 8 Sep 2020 15:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 21:21:41.570698
- Title: Binarized Neural Architecture Search for Efficient Object Recognition
- Title（参考訳）: 効率的な物体認識のための二元化ニューラルアーキテクチャ探索
- Authors: Hanlin Chen, Li'an Zhuo, Baochang Zhang, Xiawu Zheng, Jianzhuang Liu,
Rongrong Ji, David Doermann, Guodong Guo
- Abstract要約: バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
- 参考スコア（独自算出の注目度）: 120.23378346337311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional neural architecture search (NAS) has a significant impact in
computer vision by automatically designing network architectures for various
tasks. In this paper, binarized neural architecture search (BNAS), with a
search space of binarized convolutions, is introduced to produce extremely
compressed models to reduce huge computational cost on embedded devices for
edge computing. The BNAS calculation is more challenging than NAS due to the
learning inefficiency caused by optimization requirements and the huge
architecture space, and the performance loss when handling the wild data in
various computing applications. To address these issues, we introduce operation
space reduction and channel sampling into BNAS to significantly reduce the cost
of searching. This is accomplished through a performance-based strategy that is
robust to wild data, which is further used to abandon less potential
operations. Furthermore, we introduce the Upper Confidence Bound (UCB) to solve
1-bit BNAS. Two optimization methods for binarized neural networks are used to
validate the effectiveness of our BNAS. Extensive experiments demonstrate that
the proposed BNAS achieves a comparable performance to NAS on both CIFAR and
ImageNet databases. An accuracy of $96.53\%$ vs. $97.22\%$ is achieved on the
CIFAR-10 dataset, but with a significantly compressed model, and a $40\%$
faster search than the state-of-the-art PC-DARTS. On the wild face recognition
task, our binarized models achieve a performance similar to their corresponding
full-precision models.
- Abstract（参考訳）: 従来のニューラルネットワーク検索(nas)は、様々なタスクにネットワークアーキテクチャを自動的に設計することでコンピュータビジョンに大きな影響を与える。
本稿では,2値化畳み込みの探索空間を持つbinarized neural architecture search (bnas) を用いて,エッジコンピューティングのための組み込みデバイスにおける膨大な計算コストを削減するために,極端に圧縮されたモデルを生成する。
BNAS計算は、最適化要求と巨大なアーキテクチャ空間に起因する学習効率の低下と、様々なコンピューティングアプリケーションにおけるワイルドデータを扱う際の性能損失により、NASよりも困難である。
これらの課題に対処するため,BNAS に操作空間の削減とチャネルサンプリングを導入し,検索コストを大幅に削減する。
これは、ワイルドデータに対して堅牢なパフォーマンスベースの戦略によって達成される。
さらに,1ビットBNASを解くために,上信頼境界(UCB)を導入する。
2値化ニューラルネットワークの2つの最適化手法を用いてbnaの有効性を検証する。
広範囲にわたる実験により、提案されたBNASは、CIFARとImageNetデータベースの両方でNASに匹敵する性能を達成した。
cifar-10データセットでは、$96.53\%$対$7.22\%$の精度が達成されているが、かなり圧縮されたモデルで、最先端のpc-dartsよりも40\%高速で検索できる。
野生の顔認識タスクでは,二元化モデルが対応する全精度モデルと同等の性能を達成している。
関連論文リスト
- Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。
類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
論文 参考訳（メタデータ） (2024-11-21T02:43:32Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳（メタデータ） (2023-06-27T11:28:29Z) - $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。
1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。
我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
論文 参考訳（メタデータ） (2022-05-08T21:48:03Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning [23.25155249879658]
微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。
L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-09-25T19:26:30Z) - Memory-Efficient Hierarchical Neural Architecture Search for Image
Restoration [68.6505473346005]
メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。
単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
論文 参考訳（メタデータ） (2020-12-24T12:06:17Z) - AdvantageNAS: Efficient Neural Architecture Search with Credit
Assignment [23.988393741948485]
ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。
アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。
NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
論文 参考訳（メタデータ） (2020-12-11T05:45:03Z) - CP-NAS: Child-Parent Neural Architecture Search for Binary Neural
Networks [27.867108193391633]
我々は1ビット畳み込みニューラルネットワーク(CNN)を提案し、ニューラルアーキテクチャサーチ(NAS)の計算とメモリコストを削減する。
実精度モデル (Parent) の監督下で二項化アーキテクチャ (Child) を探索するために, 識別可能なNASにCPモデルを導入した。
CIFAR-10では9,5.27%、ImageNetでは6,4.3%の精度でバイナライズされたウェイトとアクティベーションを持ち、前作よりも30%の高速検索を実現している。
論文 参考訳（メタデータ） (2020-04-30T19:09:55Z) - BNAS:An Efficient Neural Architecture Search Approach Using Broad
Scalable Architecture [62.587982139871976]
我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。
BNASは0.19日であり、ENASよりも2.37倍安い。
論文 参考訳（メタデータ） (2020-01-18T15:07:55Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。