論文の概要: DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2003.12563v1
• Date: Fri, 27 Mar 2020 17:55:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 05:21:52.629660
• Title: DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search
• Title（参考訳）: DA-NAS: 効率的なニューラルネットワーク探索のためのデータ適応型プルーニング
• Authors: Xiyang Dai and Dongdong Chen and Mengchen Liu and Yinpeng Chen and Lu Yuan
• Abstract要約: ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
• 参考スコア（独自算出の注目度）: 76.9225014200746
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient search is a core issue in Neural Architecture Search (NAS). It is difficult for conventional NAS algorithms to directly search the architectures on large-scale tasks like ImageNet. In general, the cost of GPU hours for NAS grows with regard to training dataset size and candidate set size. One common way is searching on a smaller proxy dataset (e.g., CIFAR-10) and then transferring to the target task (e.g., ImageNet). These architectures optimized on proxy data are not guaranteed to be optimal on the target task. Another common way is learning with a smaller candidate set, which may require expert knowledge and indeed betrays the essence of NAS. In this paper, we present DA-NAS that can directly search the architecture for large-scale target tasks while allowing a large candidate set in a more efficient manner. Our method is based on an interesting observation that the learning speed for blocks in deep neural networks is related to the difficulty of recognizing distinct categories. We carefully design a progressive data adapted pruning strategy for efficient architecture search. It will quickly trim low performed blocks on a subset of target dataset (e.g., easy classes), and then gradually find the best blocks on the whole target dataset. At this time, the original candidate set becomes as compact as possible, providing a faster search in the target task. Experiments on ImageNet verify the effectiveness of our approach. It is 2x faster than previous methods while the accuracy is currently state-of-the-art, at 76.2% under small FLOPs constraint. It supports an argument search space (i.e., more candidate blocks) to efficiently search the best-performing architecture.
• Abstract（参考訳）: 効率的な検索は、ニューラルネットワーク検索(nas)の核となる問題である。 従来のNASアルゴリズムでは、ImageNetのような大規模タスクでアーキテクチャを直接検索することは困難である。 一般的に、NASのGPU時間のコストは、トレーニングデータセットのサイズと候補セットサイズに関して増大する。 一般的な方法は、より小さなプロキシデータセット(例:CIFAR-10)を検索し、ターゲットタスク(例:ImageNet)に転送することです。 プロキシデータに最適化されたこれらのアーキテクチャは、ターゲットタスクで最適であることを保証するものではない。 もう一つの一般的な方法は、専門家の知識を必要とし、NASの本質を裏切る、より小さな候補セットで学ぶことである。 本稿では,大規模対象タスクを直接検索し,大規模候補を効率的に設定できるda-naを提案する。 本手法は,ディープニューラルネットワークにおけるブロックの学習速度が,異なるカテゴリの認識が困難であることを示す興味深い観察に基づく。 効率的なアーキテクチャ探索のためのプログレッシブデータ適応型プルーニング戦略を慎重に設計する。 ターゲットデータセットのサブセット(例えば、イージークラス)の低パフォーマンスなブロックを迅速にトリミングし、ターゲットデータセット全体の最適なブロックを徐々に見つける。 このとき、元の候補セットは可能な限りコンパクトになり、ターゲットタスクのより高速な検索を提供する。 ImageNetの実験は、我々のアプローチの有効性を検証する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOP制約下で76.2%である。 最適なアーキテクチャを効率的に探索するための引数探索空間(すなわち、より多くの候補ブロック)をサポートする。

関連論文リスト

• Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search [96.31315520244605]
  Arch-Graphはタスク固有の最適アーキテクチャを予測するトランスファー可能なNASメソッドである。 Arch-Graphの転送性と,多数のタスクにわたる高いサンプル効率を示す。 わずか50モデルの予算の下で、2つの検索スペースで平均して0.16%と0.29%のアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2022-04-12T16:46:06Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
  本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。 トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。 最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
  論文  参考訳（メタデータ） (2021-09-15T15:43:08Z)
• Core-set Sampling for Efficient Neural Architecture Search [12.272975892517039]
  本稿では,データキュレーションの方法に基づいて問題を定式化しようと試みる。 我々の主要な戦略は、要約されたデータ分布、すなわちコアセットを使ってアーキテクチャを探索することである。 実験では,計算時間を30.8時間から3.5時間,8.8倍に短縮することができた。
  論文  参考訳（メタデータ） (2021-07-08T06:19:18Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• Accelerating Neural Architecture Search via Proxy Data [17.86463546971522]
  ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
  論文  参考訳（メタデータ） (2021-06-09T03:08:53Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。