論文の概要: PredNAS: A Universal and Sample Efficient Neural Architecture Search Framework

• arxiv url: http://arxiv.org/abs/2210.14460v1
• Date: Wed, 26 Oct 2022 04:15:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:48:59.663732
• Title: PredNAS: A Universal and Sample Efficient Neural Architecture Search Framework
• Title（参考訳）: prednas: 汎用的でサンプルの効率的なニューラルネットワーク検索フレームワーク
• Authors: Liuchun Yuan and Zehao Huang and Naiyan Wang
• Abstract要約: ニューラル・アーキテクチャ・サーチ(NAS)のための汎用的で効果的なフレームワークであるPredNASを提案する。 我々はニューラル予測器を性能予測器として採用する。驚いたことに、PredNASはNASベンチマークの最先端のパフォーマンスを、少数のトレーニングサンプルで達成できる。
• 参考スコア（独自算出の注目度）: 20.59478264338981
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a general and effective framework for Neural Architecture Search (NAS), named PredNAS. The motivation is that given a differentiable performance estimation function, we can directly optimize the architecture towards higher performance by simple gradient ascent. Specifically, we adopt a neural predictor as the performance predictor. Surprisingly, PredNAS can achieve state-of-the-art performances on NAS benchmarks with only a few training samples (less than 100). To validate the universality of our method, we also apply our method on large-scale tasks and compare our method with RegNet on ImageNet and YOLOX on MSCOCO. The results demonstrate that our PredNAS can explore novel architectures with competitive performances under specific computational complexity constraints.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク探索のための汎用的で効果的なフレームワークであるPredNASを提案する。 その動機は、微分可能な性能推定関数が与えられた場合、単純な勾配上昇によってアーキテクチャを直接高い性能に最適化できるということである。 具体的には、性能予測器としてニューラル予測器を採用する。 驚くべきことに、prednaは数回のトレーニングサンプル(100未満)で、nasベンチマークで最先端のパフォーマンスを達成できる。 提案手法の普遍性を検証するため,大規模タスクに本手法を適用し,画像Net上のRegNetとMSCOCO上のYOLOXとの比較を行った。 その結果,PredNASは計算複雑性制約下での競合性能を持つ新しいアーキテクチャを探索できることを示した。

関連論文リスト

• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• GP-NAS-ensemble: a model for NAS Performance Prediction [6.785608131249699]
  GP-NASアンサンブルは、小さなトレーニングデータセットでニューラルネットワークアーキテクチャのパフォーマンスを予測するために提案されている。 CVPR2022第2級軽量NASチャレンジ性能予測トラックの2位にランクインする。
  論文  参考訳（メタデータ） (2023-01-23T00:17:52Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。