論文の概要: AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling

• arxiv url: http://arxiv.org/abs/2011.09011v2
• Date: Tue, 13 Apr 2021 19:17:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 03:37:49.096159
• Title: AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling
• Title（参考訳）: AttentiveNAS: Attentive Smplingによるニューラルネットワーク検索の改善
• Authors: Dilin Wang, Meng Li, Chengyue Gong, Vikas Chandra
• Abstract要約: 2段階のニューラルネットワーク探索(NAS)は、顕著な精度と効率を達成する。 2段階のNASは、トレーニング中に探索空間からのサンプリングを必要とし、最終的な探索モデルの精度に直接影響を及ぼす。 本稿では,より優れたパレートを実現するため,サンプリング戦略の改善に焦点を当てたAttentiveNASを提案する。 発見されたモデルファミリであるAttentiveNASは、ImageNet上で77.3%から80.7%の精度でトップ1の精度を実現し、BigNASやOne-for-Allネットワークを含むSOTAモデルより優れています。
• 参考スコア（独自算出の注目度）: 39.58754758581108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural architecture search (NAS) has shown great promise in designing state-of-the-art (SOTA) models that are both accurate and efficient. Recently, two-stage NAS, e.g. BigNAS, decouples the model training and searching process and achieves remarkable search efficiency and accuracy. Two-stage NAS requires sampling from the search space during training, which directly impacts the accuracy of the final searched models. While uniform sampling has been widely used for its simplicity, it is agnostic of the model performance Pareto front, which is the main focus in the search process, and thus, misses opportunities to further improve the model accuracy. In this work, we propose AttentiveNAS that focuses on improving the sampling strategy to achieve better performance Pareto. We also propose algorithms to efficiently and effectively identify the networks on the Pareto during training. Without extra re-training or post-processing, we can simultaneously obtain a large number of networks across a wide range of FLOPs. Our discovered model family, AttentiveNAS models, achieves top-1 accuracy from 77.3% to 80.7% on ImageNet, and outperforms SOTA models, including BigNAS and Once-for-All networks. We also achieve ImageNet accuracy of 80.1% with only 491 MFLOPs. Our training code and pretrained models are available at https://github.com/facebookresearch/AttentiveNAS.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、正確かつ効率的な最先端(SOTA)モデルを設計する上で大きな可能性を示している。 近年,2段階のNAS(BigNASなど)がモデルトレーニングと探索を分離し,検索効率と精度を向上している。 2段階nasでは、トレーニング中の検索空間からのサンプリングが必要となり、最終検索モデルの精度に直接影響する。 統一サンプリングはその単純さのために広く用いられてきたが、探索プロセスの主眼であるパレートフロントのモデル性能に非依存であり、モデル精度をさらに向上する機会を逃している。 本研究では,より優れた性能を実現するためのサンプリング戦略の改善に焦点をあてたattentivenasを提案する。 また,トレーニング中にパレート上のネットワークを効率的に識別するアルゴリズムを提案する。 余分な再トレーニングや後処理がなければ、広範囲のフロップにまたがる多数のネットワークを同時に取得できます。 発見されたモデルファミリであるAttentiveNASは、ImageNet上で77.3%から80.7%の精度でトップ1の精度を実現し、BigNASやOne-for-Allネットワークを含むSOTAモデルを上回った。 ImageNetの精度も80.1%、MFLOPは491である。 トレーニングコードと事前トレーニングされたモデルは、https://github.com/facebookresearch/attentivenasで利用可能です。

関連論文リスト

• Multi-Objective Neural Architecture Search by Learning Search Space Partitions [8.4553113915588]
  ニューラルアーキテクチャ探索(NAS)タスクにLaMOOと呼ばれる新しいメタアルゴリズムを実装した。 LaMOOは、観測されたサンプルからモデルを学び、検索空間を分割し、将来性のある領域に集中することによって、検索プロセスを高速化する。 現実世界のタスクでは、LaMOOの精度は97.36%、CIFAR10の#Paramsはわずか600のサンプルで1.62万である。
  論文  参考訳（メタデータ） (2024-06-01T03:51:34Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search [0.0]
  ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
  論文  参考訳（メタデータ） (2021-01-11T20:49:55Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)
• BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models [59.95091850331499]
  予測精度を高めるためには,重みの処理後処理が必要であるという従来の知恵に挑戦するアプローチであるBigNASを提案する。 発見されたモデルファミリーであるBigNASModelsは76.5%から80.9%の範囲でトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2020-03-24T23:00:49Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。