論文の概要: Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering

• arxiv url: http://arxiv.org/abs/2204.14103v1
• Date: Fri, 29 Apr 2022 13:52:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 21:28:34.363899
• Title: Reducing Neural Architecture Search Spaces with Training-Free Statistics and Computational Graph Clustering
• Title（参考訳）: 学習不要統計と計算グラフクラスタリングによるニューラルネットワーク検索空間の削減
• Authors: Thorir Mar Ingolfsson, Mark Vero, Xiaying Wang, Lorenzo Lamberti, Luca Benini, Matteo Spallanzani
• Abstract要約: C-BRED(Clustering-Based REDuction)は,NAS検索空間のサイズを縮小する新しい手法である。 C-BREDは、空間全体の平均精度の64%ではなく、平均精度の70%のサブセットを選択する。
• 参考スコア（独自算出の注目度）: 12.588898262943218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The computational demands of neural architecture search (NAS) algorithms are usually directly proportional to the size of their target search spaces. Thus, limiting the search to high-quality subsets can greatly reduce the computational load of NAS algorithms. In this paper, we present Clustering-Based REDuction (C-BRED), a new technique to reduce the size of NAS search spaces. C-BRED reduces a NAS space by clustering the computational graphs associated with its architectures and selecting the most promising cluster using proxy statistics correlated with network accuracy. When considering the NAS-Bench-201 (NB201) data set and the CIFAR-100 task, C-BRED selects a subset with 70% average accuracy instead of the whole space's 64% average accuracy.
• Abstract（参考訳）: neural architecture search (nas) アルゴリズムの計算能力は、通常、対象の探索空間のサイズに比例する。 したがって、探索を高品質なサブセットに制限することで、NASアルゴリズムの計算負荷を大幅に削減することができる。 本稿では,NAS探索空間のサイズを縮小する新しい手法であるクラスタリングベースリフレクション(C-BRED)を提案する。 C-BREDは、アーキテクチャに関連する計算グラフをクラスタ化し、ネットワーク精度に相関したプロキシ統計を用いて最も有望なクラスタを選択することにより、NAS空間を縮小する。 NAS-Bench-201 (NB201) データセットと CIFAR-100 タスクを考慮すると、C-BRED は空間全体の 64% の平均精度ではなく、70% の平均精度のサブセットを選択する。

関連論文リスト

• Graph is all you need? Lightweight data-agnostic neural architecture search without training [45.79667238486864]
  ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークモデルの自動設計を可能にする。 我々の手法はnasgraphと呼ばれ、ニューラルネットワークをグラフに変換することによって計算コストを大幅に削減する。 NAS-Bench201からランダムにサンプリングされた200のアーキテクチャの中で、最高のアーキテクチャを217CPU秒で見つけることができる。
  論文  参考訳（メタデータ） (2024-05-02T14:12:58Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Less is More: Proxy Datasets in NAS approaches [4.266320191208303]
  ニューラルアーキテクチャサーチ(NAS)は、サーチ問題としてニューラルネットワークの設計を定義する。 NASは、設計における要素の数によって様々な可能性のために、計算的に集約されている。 本研究は,データセットサイズ削減のためのサンプリング手法を用いて,データセットサイズの役割を広範囲に分析する。
  論文  参考訳（メタデータ） (2022-03-14T07:58:12Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Efficient Sampling for Predictor-Based Neural Architecture Search [3.287802528135173]
  ニューラルネットワーク探索のための予測器に基づくNASアルゴリズムについて検討する。 探索空間のサブセットに対してのみプロキシが計算されると,予測アルゴリズムのサンプル効率が劇的に低下することを示す。 これは、実際に予測器ベースのNASアルゴリズムを有用にするための重要なステップである。
  論文  参考訳（メタデータ） (2020-11-24T11:36:36Z)
• Neural Architecture Search as Sparse Supernet [78.09905626281046]
  本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
  論文  参考訳（メタデータ） (2020-07-31T14:51:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。