論文の概要: FEAR: A Simple Lightweight Method to Rank Architectures

• arxiv url: http://arxiv.org/abs/2106.04010v1
• Date: Mon, 7 Jun 2021 23:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 08:27:45.613373
• Title: FEAR: A Simple Lightweight Method to Rank Architectures
• Title（参考訳）: FEAR: アーキテクチャをランク付けするシンプルな軽量メソッド
• Authors: Debadeepta Dey, Shital Shah, Sebastien Bubeck
• Abstract要約: 検索空間のアーキテクチャをランク付けするために,FEARと呼ぶシンプルだが強力な手法を提案する。 FEARは、精度を損なうことなく、検索時間を約2.4倍削減できる。 また,最近提案されたランキングのゼロコスト対策を実証的に検討し,トレーニングが進むにつれてランキングのパフォーマンスが低下することを示した。
• 参考スコア（独自算出の注目度）: 14.017656480004955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fundamental problem in Neural Architecture Search (NAS) is to efficiently find high-performing architectures from a given search space. We propose a simple but powerful method which we call FEAR, for ranking architectures in any search space. FEAR leverages the viewpoint that neural networks are powerful non-linear feature extractors. First, we train different architectures in the search space to the same training or validation error. Then, we compare the usefulness of the features extracted by each architecture. We do so with a quick training keeping most of the architecture frozen. This gives fast estimates of the relative performance. We validate FEAR on Natsbench topology search space on three different datasets against competing baselines and show strong ranking correlation especially compared to recently proposed zero-cost methods. FEAR particularly excels at ranking high-performance architectures in the search space. When used in the inner loop of discrete search algorithms like random search, FEAR can cut down the search time by approximately 2.4X without losing accuracy. We additionally empirically study very recently proposed zero-cost measures for ranking and find that they breakdown in ranking performance as training proceeds and also that data-agnostic ranking scores which ignore the dataset do not generalize across dissimilar datasets.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)の根本的な問題は、与えられた検索空間から高性能なアーキテクチャを効率的に見つけることである。 検索空間のアーキテクチャをランク付けするために,FEARと呼ぶシンプルだが強力な手法を提案する。 恐怖は、ニューラルネットワークが強力な非線形特徴抽出器であるという視点を利用する。 まず、検索空間で異なるアーキテクチャをトレーニングし、同じトレーニングや検証エラーを発生させる。 次に,各アーキテクチャから抽出した特徴の有用性を比較する。 私たちは、アーキテクチャの大部分を凍結したままに素早くトレーニングします。 これは相対的な性能を素早く見積もる。 最近提案されたゼロコスト手法と比較して, 競合するベースラインに対して, ナッツベンチトポロジ探索空間上のFEARを検証し, 高いランキング相関を示す。 FEARは特に検索分野における高性能アーキテクチャのランク付けに優れる。 ランダム検索のような離散探索アルゴリズムの内部ループで使用すると、精度を損なうことなく、約2.4倍の検索時間を削減できる。 さらに,最近提案したゼロコスト尺度を実証的に検討した結果,トレーニングが進むにつれてランキング性能が低下し,データセットを無視するデータ非依存ランキングスコアが異種データセット全体にわたって一般化されないことがわかった。

関連論文リスト

• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Neural Architecture Ranker [19.21631623578852]
  アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。 成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:54:59Z)
• RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
  本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。 トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。 最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
  論文  参考訳（メタデータ） (2021-09-15T15:43:08Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。