論文の概要: Accelerating Neural Architecture Search via Proxy Data

• arxiv url: http://arxiv.org/abs/2106.04784v1
• Date: Wed, 9 Jun 2021 03:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:20:47.205711
• Title: Accelerating Neural Architecture Search via Proxy Data
• Title（参考訳）: プロキシデータによるニューラルネットワーク検索の高速化
• Authors: Byunggook Na, Jisoo Mok, Hyeokjun Choe, Sungroh Yoon
• Abstract要約: ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
• 参考スコア（独自算出の注目度）: 17.86463546971522
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Despite the increasing interest in neural architecture search (NAS), the significant computational cost of NAS is a hindrance to researchers. Hence, we propose to reduce the cost of NAS using proxy data, i.e., a representative subset of the target data, without sacrificing search performance. Even though data selection has been used across various fields, our evaluation of existing selection methods for NAS algorithms offered by NAS-Bench-1shot1 reveals that they are not always appropriate for NAS and a new selection method is necessary. By analyzing proxy data constructed using various selection methods through data entropy, we propose a novel proxy data selection method tailored for NAS. To empirically demonstrate the effectiveness, we conduct thorough experiments across diverse datasets, search spaces, and NAS algorithms. Consequently, NAS algorithms with the proposed selection discover architectures that are competitive with those obtained using the entire dataset. It significantly reduces the search cost: executing DARTS with the proposed selection requires only 40 minutes on CIFAR-10 and 7.5 hours on ImageNet with a single GPU. Additionally, when the architecture searched on ImageNet using the proposed selection is inversely transferred to CIFAR-10, a state-of-the-art test error of 2.4\% is yielded. Our code is available at https://github.com/nabk89/NAS-with-Proxy-data.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)への関心が高まっているにもかかわらず、NASの計算コストは研究者にとって障害となっている。 そこで我々は,検索性能を犠牲にすることなく,対象データの代表的なサブセットであるプロキシデータを用いたnasのコスト削減を提案する。 NAS-Bench-1shot1で提供されるNASアルゴリズムの既存の選択方法の評価では、NASに必ずしも適していないことが判明し、新しい選択方法が必要である。 データエントロピーによって様々な選択法を用いて構築されたプロキシデータを解析し,nas用に調整された新しいプロキシデータ選択法を提案する。 この効果を実証的に示すために,多様なデータセット,検索空間,NASアルゴリズムの徹底的な実験を行った。 その結果、提案した選択型NASアルゴリズムは、データセット全体を用いて得られたものと競合するアーキテクチャを発見する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しか必要ありません。 さらに、提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、最先端のテストエラー2.4\%が得られる。 私たちのコードはhttps://github.com/nabk89/NAS-with-Proxy-dataで利用可能です。

関連論文リスト

• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Speeding up NAS with Adaptive Subset Selection [21.31075249079979]
  ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。 両分野から最先端技術を利用するアルゴリズムを考案する。 結果は複数のデータセットで一致しています。
  論文  参考訳（メタデータ） (2022-11-02T19:48:42Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search [18.77097100500467]
  ニューラルネットワーク検索(NAS)は、機械学習においてオープンで困難な問題である。 大規模なNASを実行する典型的な方法は、小さなデータセット上のアーキテクチャビルディングブロックを検索し、そのブロックをより大きなデータセットに転送することである。 我々は、ImageNet1KやImageNet22Kのような大規模ベンチマークで一連の実験を行うことで、異なるNAS手法のアーキテクチャ転送可能性を分析する。
  論文  参考訳（メタデータ） (2020-06-23T20:28:42Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。