論文の概要: CP-NAS: Child-Parent Neural Architecture Search for Binary Neural Networks

• arxiv url: http://arxiv.org/abs/2005.00057v2
• Date: Sun, 17 May 2020 15:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 05:08:18.701778
• Title: CP-NAS: Child-Parent Neural Architecture Search for Binary Neural Networks
• Title（参考訳）: cp-nas:バイナリニューラルネットのための子-母系ニューラルアーキテクチャ探索
• Authors: Li'an Zhuo, Baochang Zhang, Hanlin Chen, Linlin Yang, Chen Chen, Yanjun Zhu and David Doermann
• Abstract要約: 我々は1ビット畳み込みニューラルネットワーク(CNN)を提案し、ニューラルアーキテクチャサーチ(NAS)の計算とメモリコストを削減する。 実精度モデル (Parent) の監督下で二項化アーキテクチャ (Child) を探索するために, 識別可能なNASにCPモデルを導入した。 CIFAR-10では9,5.27%、ImageNetでは6,4.3%の精度でバイナライズされたウェイトとアクティベーションを持ち、前作よりも30%の高速検索を実現している。
• 参考スコア（独自算出の注目度）: 27.867108193391633
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) proves to be among the best approaches for many tasks by generating an application-adaptive neural architecture, which is still challenged by high computational cost and memory consumption. At the same time, 1-bit convolutional neural networks (CNNs) with binarized weights and activations show their potential for resource-limited embedded devices. One natural approach is to use 1-bit CNNs to reduce the computation and memory cost of NAS by taking advantage of the strengths of each in a unified framework. To this end, a Child-Parent (CP) model is introduced to a differentiable NAS to search the binarized architecture (Child) under the supervision of a full-precision model (Parent). In the search stage, the Child-Parent model uses an indicator generated by the child and parent model accuracy to evaluate the performance and abandon operations with less potential. In the training stage, a kernel-level CP loss is introduced to optimize the binarized network. Extensive experiments demonstrate that the proposed CP-NAS achieves a comparable accuracy with traditional NAS on both the CIFAR and ImageNet databases. It achieves the accuracy of $95.27\%$ on CIFAR-10, $64.3\%$ on ImageNet with binarized weights and activations, and a $30\%$ faster search than prior arts.
• Abstract（参考訳）: ニューラルアーキテクチャ検索(nas)は、アプリケーション適応型ニューラルアーキテクチャを生成することによって、多くのタスクにおいて最善のアプローチであることが証明されている。 同時に、二元化重みとアクティベーションを持つ1ビット畳み込みニューラルネットワーク(cnns)は、リソース制限された組み込みデバイスにその可能性を示す。 自然なアプローチの1つは、統一されたフレームワークにおけるそれぞれの長所を生かしてNASの計算とメモリコストを削減するために1ビットCNNを使用することである。 この目的のために、子母モデル(cp)を微分可能なnasに導入し、全精度モデル(parent)の監督下で二元化アーキテクチャ(child)を探索する。 探索段階では、子母モデルは、子と親モデルの精度によって生成された指標を用いて、パフォーマンスを評価し、少ないポテンシャルで操作を放棄する。 トレーニング段階では、二項化ネットワークを最適化するためにカーネルレベルのCP損失を導入する。 CP-NASはCIFARデータベースとImageNetデータベースの両方で従来のNASと同等の精度を達成している。 cifar-10では$95.27\%、imagenetでは$64.3\%、以前のartsより$30\%高速検索を実現している。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• Fast Neural Network Adaptation via Parameter Remapping and Architecture Search [35.61441231491448]
  ディープニューラルネットワークは多くのコンピュータビジョンタスクにおいて顕著なパフォーマンスを達成する。 ほとんどの最新技術(SOTA)セマンティックセグメンテーションとオブジェクト検出アプローチは、バックボーンとしてイメージ分類用に設計されたニューラルネットワークアーキテクチャを再利用する。 しかし、大きな課題の1つは、画像Netによる検索空間表現の事前トレーニングが膨大な計算コストを発生させることである。 本稿では、シードネットワークのアーキテクチャとパラメータの両方を適応できる高速ニューラルネットワーク適応(FNA)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-08T13:45:15Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。