論文の概要: DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs

• arxiv url: http://arxiv.org/abs/2306.15390v1
• Date: Tue, 27 Jun 2023 11:28:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 13:42:53.269014
• Title: DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs
• Title（参考訳）: DCP-NAS: 1ビットCNNにおける子領域ニューラルアーキテクチャ探索
• Authors: Yanjing Li, Sheng Xu, Xianbin Cao, Li'an Zhuo, Baochang Zhang, Tian Wang, Guodong Guo
• Abstract要約: バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
• 参考スコア（独自算出の注目度）: 53.82853297675979
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architecture search (NAS) proves to be among the effective approaches for many tasks by generating an application-adaptive neural architecture, which is still challenged by high computational cost and memory consumption. At the same time, 1-bit convolutional neural networks (CNNs) with binary weights and activations show their potential for resource-limited embedded devices. One natural approach is to use 1-bit CNNs to reduce the computation and memory cost of NAS by taking advantage of the strengths of each in a unified framework, while searching the 1-bit CNNs is more challenging due to the more complicated processes involved. In this paper, we introduce Discrepant Child-Parent Neural Architecture Search (DCP-NAS) to efficiently search 1-bit CNNs, based on a new framework of searching the 1-bit model (Child) under the supervision of a real-valued model (Parent). Particularly, we first utilize a Parent model to calculate a tangent direction, based on which the tangent propagation method is introduced to search the optimized 1-bit Child. We further observe a coupling relationship between the weights and architecture parameters existing in such differentiable frameworks. To address the issue, we propose a decoupled optimization method to search an optimized architecture. Extensive experiments demonstrate that our DCP-NAS achieves much better results than prior arts on both CIFAR-10 and ImageNet datasets. In particular, the backbones achieved by our DCP-NAS achieve strong generalization performance on person re-identification and object detection.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、アプリケーション適応型ニューラルアーキテクチャを生成することで、多くのタスクにおいて効果的なアプローチの1つであることが証明されている。 同時に、バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 一つの自然なアプローチは、1ビットのcnnを使用して計算コストとnasのメモリコストを削減することであるが、1ビットのcnnの検索はより複雑なプロセスによってより困難である。 本稿では、実数値モデル(Parent)の監督のもと、1ビットモデル(Child)を探索する新しい枠組みに基づいて、1ビットCNNを効率的に探索するDisdisrepant Child-Parent Neural Architecture Search (DCP-NAS)を提案する。 特に,最適化された1ビット子を探索するタンジェント伝搬法を導入し,まず親モデルを用いてタンジェント方向を算出する。 このような微分可能なフレームワークに存在する重みとアーキテクチャパラメータの結合関係をさらに観察する。 そこで本研究では,最適化アーキテクチャを探索する分離最適化手法を提案する。 DCP-NASは,CIFAR-10データセットとImageNetデータセットの両方において,先行技術よりもはるかに優れた結果が得られることを示した。 特に, DCP-NASにより達成されたバックボーンは, 人物の再識別と物体検出において, 強力な一般化性能を発揮する。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
  我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。 DNASを広告クリックスルー率(CTR)予測の問題に適用する。 我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
  論文  参考訳（メタデータ） (2021-10-25T05:46:27Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• CP-NAS: Child-Parent Neural Architecture Search for Binary Neural Networks [27.867108193391633]
  我々は1ビット畳み込みニューラルネットワーク(CNN)を提案し、ニューラルアーキテクチャサーチ(NAS)の計算とメモリコストを削減する。 実精度モデル (Parent) の監督下で二項化アーキテクチャ (Child) を探索するために, 識別可能なNASにCPモデルを導入した。 CIFAR-10では9,5.27%、ImageNetでは6,4.3%の精度でバイナライズされたウェイトとアクティベーションを持ち、前作よりも30%の高速検索を実現している。
  論文  参考訳（メタデータ） (2020-04-30T19:09:55Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。