論文の概要: Neural Architecture Search as Sparse Supernet

• arxiv url: http://arxiv.org/abs/2007.16112v2
• Date: Wed, 31 Mar 2021 16:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 05:54:28.950113
• Title: Neural Architecture Search as Sparse Supernet
• Title（参考訳）: スパーススーパーネットとしてのニューラルアーキテクチャサーチ
• Authors: Yan Wu, Aoming Liu, Zhiwu Huang, Siwei Zhang, Luc Van Gool
• Abstract要約: 本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
• 参考スコア（独自算出の注目度）: 78.09905626281046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims at enlarging the problem of Neural Architecture Search (NAS) from Single-Path and Multi-Path Search to automated Mixed-Path Search. In particular, we model the NAS problem as a sparse supernet using a new continuous architecture representation with a mixture of sparsity constraints. The sparse supernet enables us to automatically achieve sparsely-mixed paths upon a compact set of nodes. To optimize the proposed sparse supernet, we exploit a hierarchical accelerated proximal gradient algorithm within a bi-level optimization framework. Extensive experiments on Convolutional Neural Network and Recurrent Neural Network search demonstrate that the proposed method is capable of searching for compact, general and powerful neural architectures.
• Abstract（参考訳）: 本稿では,単一パス・複数パス探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 特に,NAS問題をスパーススーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に実現できる。 提案するスパーススーパーネットを最適化するために,二段階最適化フレームワークにおいて階層的加速近距離勾配アルゴリズムを利用する。 畳み込みニューラルネットワークとリカレントニューラルネットワークの大規模な実験により,提案手法がコンパクトで汎用的で強力なニューラルネットワークアーキテクチャを探索できることが実証された。

関連論文リスト

• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Neural Architecture Search for Image Super-Resolution Using Densely Constructed Search Space: DeCoNAS [18.191710317555952]
  ニューラルアーキテクチャサーチ(NAS)手法を用いて,DeCoNASNetという,軽量で高密度なネットワークを探索する。 画像の超解像を解くための複雑性に基づくペナルティを定義し、多目的問題とみなすことができる。 実験により、当社のDeCoNASNetは、ハンドクラフト法と既存のNASベースの設計で設計された最先端の軽量スーパーリゾリューションネットワークを上回っています。
  論文  参考訳（メタデータ） (2021-04-19T04:51:16Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
  ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。 提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。 実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-23T13:27:24Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Optimal Transport Kernels for Sequential and Parallel Neural Architecture Search [42.654535636271085]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワークの設計を自動化する。 主な課題の1つは、従来のユークリッド計量が捕捉できないようなネットワークの類似性を比較することである。 我々は OT の負定値変種であるtree-Wasserstein (TW) の上に構築する。
  論文  参考訳（メタデータ） (2020-06-13T08:44:41Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。