論文の概要: Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets

• arxiv url: http://arxiv.org/abs/2107.00860v1
• Date: Fri, 2 Jul 2021 06:33:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 12:58:57.404805
• Title: Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets
• Title（参考訳）: データセットからグラフを生成する学習による高速ニューラルネットワーク検索
• Authors: Hayeon Lee, Eunyoung Hyung, Sung Ju Hwang
• Abstract要約: 本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
• 参考スコア（独自算出の注目度）: 42.993720854755736
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite the success of recent Neural Architecture Search (NAS) methods on various tasks which have shown to output networks that largely outperform human-designed networks, conventional NAS methods have mostly tackled the optimization of searching for the network architecture for a single task (dataset), which does not generalize well across multiple tasks (datasets). Moreover, since such task-specific methods search for a neural architecture from scratch for every given task, they incur a large computational cost, which is problematic when the time and monetary budget are limited. In this paper, we propose an efficient NAS framework that is trained once on a database consisting of datasets and pretrained networks and can rapidly search for a neural architecture for a novel dataset. The proposed MetaD2A (Meta Dataset-to-Architecture) model can stochastically generate graphs (architectures) from a given set (dataset) via a cross-modal latent space learned with amortized meta-learning. Moreover, we also propose a meta-performance predictor to estimate and select the best architecture without direct training on target datasets. The experimental results demonstrate that our model meta-learned on subsets of ImageNet-1K and architectures from NAS-Bench 201 search space successfully generalizes to multiple unseen datasets including CIFAR-10 and CIFAR-100, with an average search time of 33 GPU seconds. Even under MobileNetV3 search space, MetaD2A is 5.5K times faster than NSGANetV2, a transferable NAS method, with comparable performance. We believe that the MetaD2A proposes a new research direction for rapid NAS as well as ways to utilize the knowledge from rich databases of datasets and architectures accumulated over the past years. Code is available at https://github.com/HayeonLee/MetaD2A.
• Abstract（参考訳）: 最近のnas(neural architecture search)法の成功は、人間が設計したネットワークをほとんど上回るネットワークを出力していることを示したが、従来のnas法は、単一のタスク(データセット)に対するネットワークアーキテクチャの探索の最適化に主に取り組んできた。 さらに、タスク固有の手法は、与えられたタスクごとにスクラッチからニューラルアーキテクチャを探索するので、時間と金銭の予算が限られている場合に問題となる大きな計算コストが発生する。 本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングし,新しいデータセットのためのニューラルネットワークを高速に検索できる効率的なNASフレームワークを提案する。 提案したMetaD2A(Meta Dataset-to-Architecture)モデルは、アモータイズされたメタラーニングで学習したクロスモーダル潜在空間を介して、与えられたセット(データセット)からグラフ(アーキテクチャ)を確率的に生成することができる。 さらに,目的とするデータセットを直接トレーニングすることなく,最適なアーキテクチャを推定し選択するメタパフォーマンス予測器を提案する。 実験の結果,画像Net-1KのサブセットとNAS-Bench 201の検索空間からのアーキテクチャに基づいてメタ学習したモデルが,CIFAR-10やCIFAR-100を含む複数の未知のデータセットに平均33GPU秒で一般化できることが示されている。 mobilenetv3の検索空間でも、metad2aは転送可能なnasメソッドであるnsganetv2よりも5.5k倍高速で、同等の性能を持つ。 metad2aは、過去数年間に蓄積されたデータセットやアーキテクチャの豊富なデータベースからの知識を活用する方法だけでなく、rapid nasの新しい研究方向性を提案していると信じています。 コードはhttps://github.com/HayeonLee/MetaD2Aで入手できる。

関連論文リスト

• Knowledge-aware Evolutionary Graph Neural Architecture Search [49.13787973318586]
  グラフニューラルネットワーク検索(GNAS)は、特定のグラフタスクやデータセットに対して、高性能なグラフニューラルネットワークアーキテクチャをカスタマイズすることができる。 既存のGNAS手法は、探索効率を向上させる可能性のある事前知識を無視して、ゼロ知識状態からアーキテクチャを探し始める。 本研究では,新しいグラフデータセット上での多目的進化探索を高速化するために,そのような先行知識を活用することを提案する。
  論文  参考訳（メタデータ） (2024-11-26T11:32:45Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Across-Task Neural Architecture Search via Meta Learning [1.225795556154044]
  Adequate labeled data and expensive compute resources is the prequisites for the success of Neural Architecture search (NAS) 限られた計算リソースとデータを持つメタ学習シナリオにNASを適用するのは難しい。 本稿では、勾配に基づくメタラーニングとEAに基づくNASを組み合わせることで、タスク間ニューラルネットワーク探索(AT-NAS)を提案する。
  論文  参考訳（メタデータ） (2021-10-12T09:07:33Z)
• NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search [18.77097100500467]
  ニューラルネットワーク検索(NAS)は、機械学習においてオープンで困難な問題である。 大規模なNASを実行する典型的な方法は、小さなデータセット上のアーキテクチャビルディングブロックを検索し、そのブロックをより大きなデータセットに転送することである。 我々は、ImageNet1KやImageNet22Kのような大規模ベンチマークで一連の実験を行うことで、異なるNAS手法のアーキテクチャ転送可能性を分析する。
  論文  参考訳（メタデータ） (2020-06-23T20:28:42Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。