論文の概要: Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS

• arxiv url: http://arxiv.org/abs/2108.09126v1
• Date: Fri, 20 Aug 2021 11:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-23 18:47:07.578202
• Title: Lessons from the Clustering Analysis of a Search Space: A Centroid-based Approach to Initializing NAS
• Title（参考訳）: 探索空間のクラスタリング解析からの教訓:NAS初期化へのセントロイド的アプローチ
• Authors: Kalifou Rene Traore, Andr\'es Camero, Xiao Xiang Zhu
• Abstract要約: NASベンチマークの最近の利用により、低計算資源のプロトタイピングが可能になった。 探索空間の校正クラスタリング解析を行う。 次に、センチロイドを抽出し、NASアルゴリズムを初期化する。
• 参考スコア（独自算出の注目度）: 12.901952926144258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lots of effort in neural architecture search (NAS) research has been dedicated to algorithmic development, aiming at designing more efficient and less costly methods. Nonetheless, the investigation of the initialization of these techniques remain scare, and currently most NAS methodologies rely on stochastic initialization procedures, because acquiring information prior to search is costly. However, the recent availability of NAS benchmarks have enabled low computational resources prototyping. In this study, we propose to accelerate a NAS algorithm using a data-driven initialization technique, leveraging the availability of NAS benchmarks. Particularly, we proposed a two-step methodology. First, a calibrated clustering analysis of the search space is performed. Second, the centroids are extracted and used to initialize a NAS algorithm. We tested our proposal using Aging Evolution, an evolutionary algorithm, on NAS-bench-101. The results show that, compared to a random initialization, a faster convergence and a better performance of the final solution is achieved.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)の研究は、より効率的で低コストな手法を設計することを目的としたアルゴリズム開発に多くの努力が注がれている。 しかしながら,これらの手法の初期化に関する調査は依然として少なく,現在,ほとんどのNAS手法は探索に先立って情報を取得するため,確率的初期化手順に依存している。 しかし、最近のNASベンチマークにより、低計算リソースのプロトタイピングが可能になった。 本研究では、NASベンチマークの可用性を活用し、データ駆動初期化手法を用いてNASアルゴリズムを高速化することを提案する。 特に,二段階法を提案する。 まず、探索空間の校正クラスタリング解析を行う。 次に、センチロイドを抽出してNASアルゴリズムを初期化する。 我々はNAS-bench-101の進化アルゴリズムであるAging Evolutionを用いて提案手法を検証した。 その結果,ランダム初期化と比較して,より高速な収束と最終解の性能向上が達成された。

関連論文リスト

• Delta-NAS: Difference of Architecture Encoding for Predictor-based Evolutionary Neural Architecture Search [5.1331676121360985]
  我々は,NASの微粒化を低コストで行うアルゴリズムを構築した。 類似ネットワークの精度の差を予測することにより,問題を低次元空間に投影することを提案する。
  論文  参考訳（メタデータ） (2024-11-21T02:43:32Z)
• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Speeding up NAS with Adaptive Subset Selection [21.31075249079979]
  ニューラルアーキテクチャサーチ(NAS)に対する適応的サブセット選択手法を提案する。 両分野から最先端技術を利用するアルゴリズムを考案する。 結果は複数のデータセットで一致しています。
  論文  参考訳（メタデータ） (2022-11-02T19:48:42Z)
• U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search [50.33956216274694]
  ターゲットプラットフォームにおけるリソース利用の最適化は、DNN推論時に高いパフォーマンスを達成するための鍵となる。 本稿では,タスクの正確性や推論遅延を最適化するだけでなく,資源利用のためのハードウェア対応NASフレームワークを提案する。 我々は,従来のハードウェア対応NAS法と比較して,DNN推論の2.8～4倍の高速化を実現している。
  論文  参考訳（メタデータ） (2022-03-23T13:44:15Z)
• A Data-driven Approach to Neural Architecture Search Initialization [12.901952926144258]
  人口ベースNASアルゴリズムを初期化するためのデータ駆動手法を提案する。 ランダムおよびラテンハイパーキューブサンプリングに対する提案手法のベンチマークを行った。
  論文  参考訳（メタデータ） (2021-11-05T14:30:19Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。