論文の概要: Contrastive Neural Architecture Search with Neural Architecture Comparators

• arxiv url: http://arxiv.org/abs/2103.05471v1
• Date: Mon, 8 Mar 2021 11:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-10 14:55:44.686279
• Title: Contrastive Neural Architecture Search with Neural Architecture Comparators
• Title（参考訳）: ニューラルアーキテクチャ比較器を用いたコントラストニューラルアーキテクチャ探索
• Authors: Yaofo Chen, Yong Guo, Qi Chen, Minli Li, Yaowei Wang, Wei Zeng, Mingkui Tan
• Abstract要約: neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
• 参考スコア（独自算出の注目度）: 46.45102111497492
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the key steps in Neural Architecture Search (NAS) is to estimate the performance of candidate architectures. Existing methods either directly use the validation performance or learn a predictor to estimate the performance. However, these methods can be either computationally expensive or very inaccurate, which may severely affect the search efficiency and performance. Moreover, as it is very difficult to annotate architectures with accurate performance on specific tasks, learning a promising performance predictor is often non-trivial due to the lack of labeled data. In this paper, we argue that it may not be necessary to estimate the absolute performance for NAS. On the contrary, we may need only to understand whether an architecture is better than a baseline one. However, how to exploit this comparison information as the reward and how to well use the limited labeled data remains two great challenges. In this paper, we propose a novel Contrastive Neural Architecture Search (CTNAS) method which performs architecture search by taking the comparison results between architectures as the reward. Specifically, we design and learn a Neural Architecture Comparator (NAC) to compute the probability of candidate architectures being better than a baseline one. Moreover, we present a baseline updating scheme to improve the baseline iteratively in a curriculum learning manner. More critically, we theoretically show that learning NAC is equivalent to optimizing the ranking over architectures. Extensive experiments in three search spaces demonstrate the superiority of our CTNAS over existing methods.
• Abstract（参考訳）: neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 しかし,これらの手法は,探索効率や性能に悪影響を及ぼす可能性があるため,計算コストがかかるか,不正確である可能性がある。 さらに、特定のタスクで正確なパフォーマンスでアーキテクチャをアノテーションすることは非常に困難であるため、ラベル付きデータの欠如のために有望なパフォーマンス予測器の学習はしばしば簡単ではない。 本論文では,NASの絶対性能を推定する必要はないかもしれないと論じる。 それどころか、アーキテクチャがベースラインよりも優れているかどうかを理解する必要があるかもしれません。 しかし、この比較情報を報酬として利用する方法と制限付きデータをうまく利用する方法については、2つの大きな課題が残る。 本稿では,アーキテクチャ間の比較結果を報奨として,アーキテクチャ探索を行う新しいコントラストニューラルネットワーク探索(ctnas)法を提案する。 具体的には、ニューラルネットワーク比較器(NAC)を設計し、ベースラインアーキテクチャよりも優れた候補アーキテクチャの確率を計算する。 さらに,カリキュラム学習方式でベースラインを反復的に改善するためのベースライン更新方式を提案する。 より重要なことは、NACの学習はアーキテクチャのランク付けを最適化するのと等価であることを理論的に示すことである。 3つの検索空間での広範な実験は、既存の方法よりもCTNASの優位性を示しています。

関連論文リスト

• DAS: Neural Architecture Search via Distinguishing Activation Score [21.711985665733653]
  ニューラルアーキテクチャサーチ(NAS)は、特定のタスクに対して優れたアーキテクチャを探索する自動手法である。 Darts-training-bench(DTB)と呼ばれるデータセットを提案し、既存のデータセットでアーキテクチャのトレーニング状態が存在しないギャップを埋める。 提案手法は,NAS-Bench-101,Network Design Spaces,提案DBBの1.04$times$ - 1.56$times$の改善を実現している。
  論文  参考訳（メタデータ） (2022-12-23T04:02:46Z)
• Neural Architecture Ranker [19.21631623578852]
  アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。 成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:54:59Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
  本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。 トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。 最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
  論文  参考訳（メタデータ） (2021-09-15T15:43:08Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Does Unsupervised Architecture Representation Learning Help Neural Architecture Search? [22.63641173256389]
  既存のニューラルアーキテクチャサーチ(NAS)手法は、スケールが良くない離散符号化を用いてニューラルアーキテクチャをエンコードするか、アーキテクチャ表現を共同で学習し、探索バイアスを引き起こすような表現上でアーキテクチャ探索を最適化するための教師付き学習ベースの手法を採用する。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。
  論文  参考訳（メタデータ） (2020-06-12T04:15:34Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。