論文の概要: ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding

• arxiv url: http://arxiv.org/abs/2010.06176v1
• Date: Tue, 13 Oct 2020 04:34:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 23:57:36.737335
• Title: ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding
• Title（参考訳）: ISTA-NAS:スパース符号化による効率的で一貫性のあるニューラルネットワーク探索
• Authors: Yibo Yang, Hongyang Li, Shan You, Fei Wang, Chen Qian, Zhouchen Lin
• Abstract要約: スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 86.40042104698792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) aims to produce the optimal sparse solution from a high-dimensional space spanned by all candidate connections. Current gradient-based NAS methods commonly ignore the constraint of sparsity in the search phase, but project the optimized solution onto a sparse one by post-processing. As a result, the dense super-net for search is inefficient to train and has a gap with the projected architecture for evaluation. In this paper, we formulate neural architecture search as a sparse coding problem. We perform the differentiable search on a compressed lower-dimensional space that has the same validation loss as the original sparse solution space, and recover an architecture by solving the sparse coding problem. The differentiable search and architecture recovery are optimized in an alternate manner. By doing so, our network for search at each update satisfies the sparsity constraint and is efficient to train. In order to also eliminate the depth and width gap between the network in search and the target-net in evaluation, we further propose a method to search and evaluate in one stage under the target-net settings. When training finishes, architecture variables are absorbed into network weights. Thus we get the searched architecture and optimized parameters in a single run. In experiments, our two-stage method on CIFAR-10 requires only 0.05 GPU-day for search. Our one-stage method produces state-of-the-art performances on both CIFAR-10 and ImageNet at the cost of only evaluation time.
• Abstract（参考訳）: neural architecture search (nas) は、全ての候補接続にまたがる高次元空間から最適なスパースソリューションを作ることを目的としている。 現在の勾配に基づくNAS法は、探索フェーズにおけるスパーシティの制約を無視するが、最適化された解を後処理によってスパースに投影する。 その結果,探索用高密度スーパーネットは訓練に非効率であり,予測されたアーキテクチャとのギャップがあることがわかった。 本稿では,ニューラルアーキテクチャ探索をスパース符号化問題として定式化する。 圧縮された低次元空間において、元のスパース解空間と同じ検証損失を持つ微分可能探索を行い、スパース符号問題を解くことでアーキテクチャを復元する。 異なる検索とアーキテクチャのリカバリは、別の方法で最適化される。 これにより、更新毎に検索を行うネットワークは、スパーシリティ制約を満たすことができ、トレーニングの効率が向上する。 また、検索におけるネットワークとターゲットネットとの深さと幅のギャップをなくすため、さらに、ターゲットネット設定下の一段階において検索と評価する手法を提案する。 トレーニングが終了すると、アーキテクチャ変数はネットワーク重みに吸収される。 したがって、検索されたアーキテクチャと最適化されたパラメータを単一の実行で取得する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUを必要とする。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。

関連論文リスト

• Efficient Joint-Dimensional Search with Solution Space Regularization for Real-Time Semantic Segmentation [27.94898516315886]
  この問題に対して,リアルタイムに実行可能な最適ネットワーク構造を探索する。 新たな解空間規則化(SSR)損失は、スーパーネットが離散的に収束することを効果的に促すために最初に提案される。 より高効率な探索を実現するために,新しい階層的・プログレッシブ・ソリューション・スペース・スライキング法を提案する。
  論文  参考訳（メタデータ） (2022-08-10T11:07:33Z)
• DASS: Differentiable Architecture Search for Sparse neural networks [0.5735035463793009]
  識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。 本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。 検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
  論文  参考訳（メタデータ） (2022-07-14T14:53:50Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。