論文の概要: Cyclic Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2006.10724v4
• Date: Mon, 25 Apr 2022 06:20:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 13:58:57.569490
• Title: Cyclic Differentiable Architecture Search
• Title（参考訳）: 巡回微分可能アーキテクチャ探索
• Authors: Hongyuan Yu, Houwen Peng, Yan Huang, Jianlong Fu, Hao Du, Liang Wang, Haibin Ling
• Abstract要約: 微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。 我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。 DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
• 参考スコア（独自算出の注目度）: 99.12381460261841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable ARchiTecture Search, i.e., DARTS, has drawn great attention in neural architecture search. It tries to find the optimal architecture in a shallow search network and then measures its performance in a deep evaluation network. The independent optimization of the search and evaluation networks, however, leaves room for potential improvement by allowing interaction between the two networks. To address the problematic optimization issue, we propose new joint optimization objectives and a novel Cyclic Differentiable ARchiTecture Search framework, dubbed CDARTS. Considering the structure difference, CDARTS builds a cyclic feedback mechanism between the search and evaluation networks with introspective distillation. First, the search network generates an initial architecture for evaluation, and the weights of the evaluation network are optimized. Second, the architecture weights in the search network are further optimized by the label supervision in classification, as well as the regularization from the evaluation network through feature distillation. Repeating the above cycle results in joint optimization of the search and evaluation networks and thus enables the evolution of the architecture to fit the final evaluation network. The experiments and analysis on CIFAR, ImageNet and NAS-Bench-201 demonstrate the effectiveness of the proposed approach over the state-of-the-art ones. Specifically, in the DARTS search space, we achieve 97.52% top-1 accuracy on CIFAR10 and 76.3% top-1 accuracy on ImageNet. In the chain-structured search space, we achieve 78.2% top-1 accuracy on ImageNet, which is 1.1% higher than EfficientNet-B0. Our code and models are publicly available at https://github.com/microsoft/Cream.
• Abstract（参考訳）: 微分可能なArchiTecture Search、すなわちDARTSは、ニューラルアーキテクチャサーチに大きな注目を集めている。 浅い検索ネットワークで最適なアーキテクチャを見つけ、そのパフォーマンスを深い評価ネットワークで測定する。 しかし、検索と評価ネットワークの独立した最適化は、2つのネットワーク間の相互作用を可能にすることによって潜在的な改善の余地を残している。 問題となる最適化問題に対処するために,新たな共同最適化目標と,CDARTSと呼ばれる新しい循環微分ARchiTecture Searchフレームワークを提案する。 構造の違いを考慮すると,CDARTSは内観蒸留を伴う探索と評価ネットワーク間の循環フィードバック機構を構築する。 まず、検索ネットワークは、評価のための初期アーキテクチャを生成し、評価ネットワークの重みを最適化する。 第2に, 検索ネットワークのアーキテクチャ重み付けは, 分類におけるラベル監督, 特徴蒸留による評価ネットワークからの正規化によってさらに最適化される。 上記のサイクルを繰り返して探索・評価ネットワークを協調的に最適化することにより,アーキテクチャの進化を最終評価ネットワークに適合させることができる。 CIFAR, ImageNet, NAS-Bench-201の実験と解析により, 最先端技術に対する提案手法の有効性が示された。 具体的には、DARTS検索空間では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成している。 連鎖構造検索空間では、ImageNetで78.2%の精度が達成され、これは効率の高いNet-B0よりも1.1%高い。 私たちのコードとモデルはhttps://github.com/microsoft/Cream.comで公開されています。

関連論文リスト

• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• De-IReps: Searching for improved Re-parameterizing Architecture based on Differentiable Evolution Strategy [5.495046508448319]
  ほぼすべての再パラメータ化操作をカバーする検索空間を設計する。 この検索空間では、マルチパスネットワークは無条件で単一パスネットワークにパラメータ化できる。 検索したアーキテクチャの特徴を視覚化し、このアーキテクチャの外観について説明する。
  論文  参考訳（メタデータ） (2022-04-13T14:07:20Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Single-level Optimization For Differential Architecture Search [6.3531384587183135]
  differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。 本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。 NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
  論文  参考訳（メタデータ） (2020-12-15T18:40:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。