論文の概要: DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions
- arxiv url: http://arxiv.org/abs/2403.01326v1
- Date: Sat, 2 Mar 2024 22:16:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 14:21:58.521365
- Title: DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions
- Title(参考訳): DNAファミリー:重量共有NASをブロックワイズで強化
- Authors: Guangrun Wang, Changlin Li, Liuchun Yuan, Jiefeng Peng, Xiaoyu Xian,
Xiaodan Liang, Xiaojun Chang, and Liang Lin
- Abstract要約: 蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
- 参考スコア(独自算出の注目度): 121.05720140641189
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS), aiming at automatically designing neural
architectures by machines, has been considered a key step toward automatic
machine learning. One notable NAS branch is the weight-sharing NAS, which
significantly improves search efficiency and allows NAS algorithms to run on
ordinary computers. Despite receiving high expectations, this category of
methods suffers from low search effectiveness. By employing a generalization
boundedness tool, we demonstrate that the devil behind this drawback is the
untrustworthy architecture rating with the oversized search space of the
possible architectures. Addressing this problem, we modularize a large search
space into blocks with small search spaces and develop a family of models with
the distilling neural architecture (DNA) techniques. These proposed models,
namely a DNA family, are capable of resolving multiple dilemmas of the
weight-sharing NAS, such as scalability, efficiency, and multi-modal
compatibility. Our proposed DNA models can rate all architecture candidates, as
opposed to previous works that can only access a sub- search space using
heuristic algorithms. Moreover, under a certain computational complexity
constraint, our method can seek architectures with different depths and widths.
Extensive experimental evaluations show that our models achieve
state-of-the-art top-1 accuracy of 78.9% and 83.6% on ImageNet for a mobile
convolutional network and a small vision transformer, respectively.
Additionally, we provide in-depth empirical analysis and insights into neural
architecture ratings. Codes available: \url{https://github.com/changlin31/DNA}.
- Abstract(参考訳): 機械によるニューラルネットワークの自動設計を目的としたニューラルアーキテクチャサーチ(NAS)は、自動機械学習への重要なステップと考えられている。
注目すべきNASブランチは、検索効率を大幅に改善し、NASアルゴリズムを通常のコンピュータ上で実行可能にする重み共有NASである。
期待が高いにもかかわらず、この分類は検索効率の低下に苦しむ。
一般化有界性ツールを用いることで、この欠点の裏側にあるデビルが、可能なアーキテクチャの検索空間が大きすぎる信頼できないアーキテクチャ評価であることを示す。
この問題に対処するため,我々は大きな探索空間を小さな探索空間でブロックにモジュール化し,蒸留ニューラル・アーキテクチャ(dna)技術を用いたモデル群を開発する。
これらのモデル、すなわちdnaファミリーは、スケーラビリティ、効率性、マルチモーダル互換性など、重量共有nasの複数のジレンマを解決することができる。
提案したDNAモデルは、ヒューリスティックアルゴリズムを用いてサブサーチ空間にしかアクセスできない以前の研究とは対照的に、全てのアーキテクチャ候補を評価できる。
さらに,ある計算複雑性制約の下では,異なる深さと幅のアーキテクチャを求めることができる。
広範な実験結果から,モバイル畳み込みネットワークと小型視覚トランスフォーマのimagenetにおける最先端top-1精度は78.9%,83.6%であった。
さらに、神経アーキテクチャの評価に関する詳細な経験的分析と洞察を提供する。
コード: \url{https://github.com/changlin31/DNA}。
関連論文リスト
- Search-time Efficient Device Constraints-Aware Neural Architecture
Search [6.527454079441765]
コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。
ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。
本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
論文 参考訳(メタデータ) (2023-07-10T09:52:28Z) - DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit
CNNs [53.82853297675979]
バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。
自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。
本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
論文 参考訳(メタデータ) (2023-06-27T11:28:29Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳(メタデータ) (2023-05-15T12:44:54Z) - Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。
DNASを広告クリックスルー率(CTR)予測の問題に適用する。
我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
論文 参考訳(メタデータ) (2021-10-25T05:46:27Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳(メタデータ) (2021-03-23T10:05:58Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳(メタデータ) (2020-10-26T11:57:37Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳(メタデータ) (2020-09-29T11:56:01Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳(メタデータ) (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。