論文の概要: Scalable NAS with Factorizable Architectural Parameters
- arxiv url: http://arxiv.org/abs/1912.13256v2
- Date: Tue, 22 Sep 2020 18:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-16 20:04:50.907865
- Title: Scalable NAS with Factorizable Architectural Parameters
- Title（参考訳）: 分解可能なアーキテクチャパラメータを持つスケーラブルNAS
- Authors: Lanfei Wang and Lingxi Xie and Tianyi Zhang and Jun Guo and Qi Tian
- Abstract要約: Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。
本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。
検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
- 参考スコア（独自算出の注目度）: 102.51428615447703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) is an emerging topic in machine learning and
computer vision. The fundamental ideology of NAS is using an automatic
mechanism to replace manual designs for exploring powerful network
architectures. One of the key factors of NAS is to scale-up the search space,
e.g., increasing the number of operators, so that more possibilities are
covered, but existing search algorithms often get lost in a large number of
operators. For avoiding huge computing and competition among similar operators
in the same pool, this paper presents a scalable algorithm by factorizing a
large set of candidate operators into smaller subspaces. As a practical
example, this allows us to search for effective activation functions along with
the regular operators including convolution, pooling, skip-connect, etc. With a
small increase in search costs and no extra costs in re-training, we find
interesting architectures that were not explored before, and achieve
state-of-the-art performance on CIFAR10 and ImageNet, two standard image
classification benchmarks.
- Abstract（参考訳）: Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。
NASの基本的なイデオロギーは、強力なネットワークアーキテクチャを探索するための手動設計を置き換えるための自動メカニズムを使用することである。
nasの重要な要因の1つは、演算子の数を増やすなど、検索スペースをスケールアップすることで、より多くの可能性をカバーできるが、既存の検索アルゴリズムは、多くのオペレーターで失われることが多い。
同一プール内の演算子間の巨大な演算子と競合を避けるため,大容量演算子を小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。
実例として,畳み込み,プーリング,スキップ接続などの正規演算子とともに,効果的なアクティベーション関数を探索することができる。
CIFAR10とImageNetの2つの標準画像分類ベンチマークでは,検索コストが小さく,再トレーニングに余分なコストがかからないため,これまで検討されなかった興味深いアーキテクチャが得られた。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Approximate Neural Architecture Search via Operation Distribution
Learning [4.358626952482686]
アーキテクチャセルが与えられた場合、その性能は使用した操作の比率に大きく依存することを示す。
この直感は特定の探索戦略であり、多様なNASアルゴリズムに適用することができる。
論文 参考訳（メタデータ） (2021-11-08T17:38:29Z) - TransNAS-Bench-101: Improving Transferability and Generalizability of
Cross-Task Neural Architecture Search [98.22779489340869]
本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。
セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。
7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
論文 参考訳（メタデータ） (2021-05-25T12:15:21Z) - Landmark Regularization: Ranking Guided Super-Net Training in Neural
Architecture Search [70.57382341642418]
重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。
近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。
本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
論文 参考訳（メタデータ） (2021-04-12T09:32:33Z) - GNAS: A Generalized Neural Network Architecture Search Framework [0.0]
実際には、nas(neural architecture search)のトレーニングで発生する問題は単純ではないが、いくつかの困難の組み合わせがしばしば直面する。
本論文では,NASの単一問題のみを解決するこれまでの研究の参考と改善を行い,それを実用的技術フローに組み合わせる。
論文 参考訳（メタデータ） (2021-03-19T06:51:22Z) - MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。
我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。
我々は精度-速度トレードオフの観点から最先端の結果を得る。
論文 参考訳（メタデータ） (2020-09-29T11:56:01Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳（メタデータ） (2020-07-18T09:35:53Z) - Local Search is a Remarkably Strong Baseline for Neural Architecture
Search [0.0]
ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。
我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
論文 参考訳（メタデータ） (2020-04-20T00:08:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。