論文の概要: Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2005.07564v2
• Date: Thu, 16 Dec 2021 07:01:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 23:18:24.034364
• Title: Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search
• Title（参考訳）: ワンショットニューラルネットワーク探索のための探索空間の自動設計
• Authors: Xin Xia, Xuefeng Xiao, Xing Wang, Min Zheng
• Abstract要約: 単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
• 参考スコア（独自算出の注目度）: 15.017964136568061
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has attracted growing interest. To reduce the search cost, recent work has explored weight sharing across models and made major progress in One-Shot NAS. However, it has been observed that a model with higher one-shot model accuracy does not necessarily perform better when stand-alone trained. To address this issue, in this paper, we propose Progressive Automatic Design of search space, named PAD-NAS. Unlike previous approaches where the same operation search space is shared by all the layers in the supernet, we formulate a progressive search strategy based on operation pruning and build a layer-wise operation search space. In this way, PAD-NAS can automatically design the operations for each layer and achieve a trade-off between search space quality and model diversity. During the search, we also take the hardware platform constraints into consideration for efficient neural network model deployment. Extensive experiments on ImageNet show that our method can achieve state-of-the-art performance.
• Abstract（参考訳）: neural architecture search (nas) が注目を集めている。 探索コストを削減するため、最近の研究はモデル間の重量共有を探求し、One-Shot NASで大きく進歩した。 しかし, 単発モデルの精度が高いモデルでは, スタンドアローン訓練では必ずしも性能が良くないことがわかった。 そこで本稿では,PAD-NASという検索空間のプログレッシブ自動設計を提案する。 同じ操作探索空間をスーパーネットのすべての層で共有する従来のアプローチとは異なり、操作プラニングに基づくプログレッシブ探索戦略を定式化し、レイヤーワイズ操作探索空間を構築する。 このようにして、PAD-NASは各層の操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成することができる。 検索中に、効率的なニューラルネットワークモデルのデプロイのために、ハードウェアプラットフォームの制約も考慮に入れます。 ImageNetの大規模な実験により,本手法は最先端の性能を達成できることが示された。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• POPNASv2: An Efficient Multi-Objective Neural Architecture Search Technique [7.497722345725035]
  本稿では,POPNASv2と呼ばれるパレート最適プログレッシブ・ニューラル・アーキテクチャ・サーチの新バージョンを提案する。 私たちのアプローチは、最初のバージョンを強化し、パフォーマンスを改善します。 POPNASv2は平均4倍の検索時間でPNASライクな性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-06T14:51:54Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms [10.11289927237036]
  微分可能なニューラルアーキテクチャサーチ(NAS)は、競合するディープニューラルネットワーク(DNN)を自動設計する最も有力な代替品として進化してきた。 我々は、LightNASと呼ばれる軽量ハードウェア対応の差別化可能なNASフレームワークを導入し、ワンタイム検索によって必要なアーキテクチャを見つけ出そうとしている。 従来の最先端技術よりもLightNASの方が優れていることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-08-30T02:23:23Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Efficient Model Performance Estimation via Feature Histories [27.008927077173553]
  ニューラルネットワーク設計のタスクにおける重要なステップは、モデルの性能を評価することである。 この研究では、トレーニングの初期段階におけるネットワークの機能の進化履歴を使用して、プロキシ分類器を構築します。 本手法は,複数の探索アルゴリズムと組み合わせ,より幅広いタスクに対するより良い解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-03-07T20:41:57Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。