論文の概要: RankNAS: Efficient Neural Architecture Search by Pairwise Ranking
- arxiv url: http://arxiv.org/abs/2109.07383v2
- Date: Fri, 17 Sep 2021 12:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 12:27:57.333245
- Title: RankNAS: Efficient Neural Architecture Search by Pairwise Ranking
- Title（参考訳）: ranknas: ペアワイズランキングによる効率的なニューラルネットワーク検索
- Authors: Chi Hu, Chenglong Wang, Xiangnan Ma, Xia Meng, Yinqiao Li, Tong Xiao,
Jingbo Zhu, Changliang Li
- Abstract要約: 本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。
トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。
最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
- 参考スコア（独自算出の注目度）: 30.890612901949307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the efficiency challenge of Neural Architecture Search
(NAS) by formulating the task as a ranking problem. Previous methods require
numerous training examples to estimate the accurate performance of
architectures, although the actual goal is to find the distinction between
"good" and "bad" candidates. Here we do not resort to performance predictors.
Instead, we propose a performance ranking method (RankNAS) via pairwise
ranking. It enables efficient architecture search using much fewer training
examples. Moreover, we develop an architecture selection method to prune the
search space and concentrate on more promising candidates. Extensive
experiments on machine translation and language modeling tasks show that
RankNAS can design high-performance architectures while being orders of
magnitude faster than state-of-the-art NAS systems.
- Abstract（参考訳）: 本稿では,課題をランキング問題として定式化することにより,ニューラルネットワーク探索(nas)の効率問題に対処する。
以前の手法では、アーキテクチャの正確なパフォーマンスを推定するために多くのトレーニング例を必要としていたが、実際の目標は「良い」候補と「悪い」候補の区別を見つけることである。
ここでは、パフォーマンス予測に頼らない。
代わりに,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。
より少ないトレーニング例を使って、効率的なアーキテクチャ検索を可能にする。
さらに,探索空間を創り出し,より有望な候補に集中するためのアーキテクチャ選択手法を開発した。
機械翻訳と言語モデリングタスクに関する大規模な実験により、RangNASは最先端のNASシステムよりも桁違いに高速で高性能なアーキテクチャを設計できることが示された。
関連論文リスト
- A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。
NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。
SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
論文 参考訳（メタデータ） (2024-07-22T12:46:22Z) - Neural Architecture Ranker [19.21631623578852]
アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。
成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
論文 参考訳（メタデータ） (2022-01-30T04:54:59Z) - L$^{2}$NAS: Learning to Optimize Neural Architectures via
Continuous-Action Reinforcement Learning [23.25155249879658]
微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。
L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2021-09-25T19:26:30Z) - RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform
Successive Halving [74.61723678821049]
予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。
予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。
その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
論文 参考訳（メタデータ） (2021-08-18T07:45:21Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Contrastive Neural Architecture Search with Neural Architecture
Comparators [46.45102111497492]
neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。
既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。
本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
論文 参考訳（メタデータ） (2021-03-08T11:24:07Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z) - DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である
本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。
従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
論文 参考訳（メタデータ） (2020-03-27T17:55:21Z) - DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution
Pruning [135.27931587381596]
DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。
検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。
提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
論文 参考訳（メタデータ） (2019-05-28T06:35:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。