論文の概要: SpiderNet: Hybrid Differentiable-Evolutionary Architecture Search via Train-Free Metrics

• arxiv url: http://arxiv.org/abs/2204.09320v1
• Date: Wed, 20 Apr 2022 08:55:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 20:53:14.784972
• Title: SpiderNet: Hybrid Differentiable-Evolutionary Architecture Search via Train-Free Metrics
• Title（参考訳）: SpiderNet: トレインフリーメトリックによるハイブリッド微分可能進化型アーキテクチャ検索
• Authors: Rob Geada, Andrew Stephen McGough
• Abstract要約: ニューラルネットワーク探索(NAS)アルゴリズムは、手動ニューラルネットワーク設計の負担を取り除くことを意図している。 NASアルゴリズムは、発見できる様々なネットワークを制限する、ユーザ構成やハードコード決定の形で、さまざまな設計パラメータを必要とする。 我々は,最先端ネットワークを迅速かつ効率的に生成する,ハイブリッドな微分可能・進化型・ハードウェア対応アルゴリズムであるSpiderNetを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) algorithms are intended to remove the burden of manual neural network design, and have shown to be capable of designing excellent models for a variety of well-known problems. However, these algorithms require a variety of design parameters in the form of user configuration or hard-coded decisions which limit the variety of networks that can be discovered. This means that NAS algorithms do not eliminate model design tuning, they instead merely shift the burden of where that tuning needs to be applied. In this paper, we present SpiderNet, a hybrid differentiable-evolutionary and hardware-aware algorithm that rapidly and efficiently produces state-of-the-art networks. More importantly, SpiderNet is a proof-of-concept of a minimally-configured NAS algorithm; the majority of design choices seen in other algorithms are incorporated into SpiderNet's dynamically-evolving search space, minimizing the number of user choices to just two: reduction cell count and initial channel count. SpiderNet produces models highly-competitive with the state-of-the-art, and outperforms random search in accuracy, runtime, memory size, and parameter count.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)アルゴリズムは、手動ニューラルネットワーク設計の負担を取り除くことを目的としており、様々な既知の問題に対して優れたモデルを設計できることが示されている。 しかし、これらのアルゴリズムは、発見可能なネットワークの種類を制限するユーザー設定またはハードコード決定の形で、様々な設計パラメータを必要とする。 つまり、NASアルゴリズムはモデル設計チューニングを排除せず、単にそのチューニングを適用すべき場所の負担をシフトするだけである。 本稿では,最先端ネットワークを迅速かつ効率的に生成するハイブリッド微分可能・ハードウェア対応アルゴリズムであるSpiderNetを提案する。 より重要なことに、spidernetは最小構成のnasアルゴリズムの概念実証であり、他のアルゴリズムで見られる設計選択の大部分はspidernetの動的進化する検索空間に組み込まれ、ユーザ選択の数を2つに最小化している。 SpiderNetは最先端技術と高い競争力を持つモデルを生成し、精度、実行時、メモリサイズ、パラメータ数においてランダム検索を上回っている。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• NAS-ASDet: An Adaptive Design Method for Surface Defect Detection Network using Neural Architecture Search [5.640706784987607]
  表面欠陥検出のためのネットワークを適応的に設計するためのNAS-ASDetと呼ばれる新しい手法を提案する。 まず、特徴分布を適応的に調整できる、洗練された業界に適した検索空間を設計する。 そして、より高速に探索空間を探索するために、深い監視機構を備えたプログレッシブ検索戦略を用いる。
  論文  参考訳（メタデータ） (2023-11-18T03:15:45Z)
• UDC: Unified DNAS for Compressible TinyML Models [10.67922101024593]
  この研究は、ニューラルアークシークチャサーチ(NAS)アルゴリズムを提案することにより、NPU HW能力とNNモデル設計のギャップを埋める。 CIFAR100, ImageNet, DIV2Kスーパー解像度タスク上で, 圧縮性モデル(UDC)のための統一DNASを実証した。 ImageNetでは、1.9倍、または5.76%の精度で圧縮可能なモデルが主流である。
  論文  参考訳（メタデータ） (2022-01-15T12:35:26Z)
• IQNAS: Interpretable Integer Quadratic Programming Neural Architecture Search [40.77061519007659]
  適合ネットワークを見つけるための一般的なアプローチは、制約付きニューラルネットワークサーチ(NAS)である。 従来はネットワークの精度に複雑な予測器を使用していた。 IQNAS (Interpretable Quadratic Programming Neural Architecture Search) を導入する。
  論文  参考訳（メタデータ） (2021-10-24T09:45:00Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Neural Architecture Search of SPD Manifold Networks [79.45110063435617]
  本研究では,Symmetric Positive Definite (SPD) 多様体ネットワークのニューラルアーキテクチャ探索(NAS)問題を提案する。 まず、効率的なSPDセル設計のために、幾何学的にリッチで多様なSPDニューラルアーキテクチャ探索空間を導入する。 我々は、SPDニューラルアーキテクチャ探索のための緩和された連続探索空間上で微分可能なNASアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-10-27T18:08:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• Binarizing MobileNet via Evolution-based Searching [66.94247681870125]
  そこで本稿では,MobileNet をバイナライズする際の構築と訓練を容易にするための進化的探索手法を提案する。 ワンショットアーキテクチャ検索フレームワークに着想を得て、グループ畳み込みのアイデアを操り、効率的な1ビット畳み込みニューラルネットワーク(CNN)を設計する。 我々の目標は、グループ畳み込みの最良の候補を探索することで、小さなが効率的なバイナリニューラルアーキテクチャを考案することである。
  論文  参考訳（メタデータ） (2020-05-13T13:25:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。