論文の概要: De-IReps: Searching for improved Re-parameterizing Architecture based on Differentiable Evolution Strategy

• arxiv url: http://arxiv.org/abs/2204.06403v1
• Date: Wed, 13 Apr 2022 14:07:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-14 13:02:35.328377
• Title: De-IReps: Searching for improved Re-parameterizing Architecture based on Differentiable Evolution Strategy
• Title（参考訳）: De-IReps: 異なる進化戦略に基づく改良された再パラメータ化アーキテクチャの探索
• Authors: Xinyi Yu, Xiaowei Wang, Mingyang Zhang, Jintao Rong, Linlin Ou
• Abstract要約: ほぼすべての再パラメータ化操作をカバーする検索空間を設計する。 この検索空間では、マルチパスネットワークは無条件で単一パスネットワークにパラメータ化できる。 検索したアーキテクチャの特徴を視覚化し、このアーキテクチャの外観について説明する。
• 参考スコア（独自算出の注目度）: 5.495046508448319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, neural architecture search (NAS) has shown great competitiveness in many fields and re-parameterization techniques have started to appear in the field of architectural search. However, most edge devices do not adapt well to networks, especially the multi-branch structure, which is searched by NAS. Therefore, in this work we design a search space that covers almost all re-parameterization operations. In this search space, multiple-path networks can be unconditionally re-parameterized into single-path networks. Thus, enhancing the usefulness of traditional nas. Meanwhile we summarize the characteristics of the re-parameterization search space and propose a differentiable evolutionary strategy (DES) to explore the re-parameterization search space. We visualize the features of the searched architecture and give our explanation for the appearance of this architecture. In this work, we can achieve efficient search and find better network structures. Respectively, we completed the architecture search on CIFAR-10 with the test accuracy of 96.64% (IrepResNet-18) and 95.65% (IrepVGG-16) and on ImageNet with the test accuracy of 77.92% (Irep-ResNet-50).
• Abstract（参考訳）: 近年,多くの分野においてニューラル・アーキテクチャ・サーチ (NAS) が大きな競争力を示し,アーキテクチャ・サーチの分野で再パラメータ化技術が登場し始めている。 しかし、ほとんどのエッジデバイスはネットワーク、特にNASによって探索されるマルチブランチ構造にうまく適応しない。 そこで本研究では,ほぼすべての再パラメータ操作をカバーする探索空間を設計する。 この検索空間では、マルチパスネットワークを無条件で単一パスネットワークに再パラメータ化することができる。 このように、伝統的な鼻の有用性を高める。 一方,再パラメータ化探索空間の特徴を要約し,再パラメータ化探索空間を探索するための微分可能進化戦略(des)を提案する。 検索したアーキテクチャの特徴を視覚化し、このアーキテクチャの出現について説明します。 本研究では,効率的な探索を行い,より優れたネットワーク構造を見つける。 CIFAR-10では96.64%(IrepResNet-18)、95.65%(IrepVG-16)、ImageNetでは77.92%(Irep-ResNet-50)の精度でアーキテクチャ検索を完了した。

関連論文リスト

• DASS: Differentiable Architecture Search for Sparse neural networks [0.5735035463793009]
  識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。 本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。 検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
  論文  参考訳（メタデータ） (2022-07-14T14:53:50Z)
• Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification [15.641353388251465]
  微分可能なニューラルネットワークサーチ(NAS)は、検索コストを単一のネットワークをトレーニングするレベルに削減することで大きな影響を与える。 本稿では,探索範囲を導入することで,探索空間の適応スキームを提案する。 画像分類タスクにおいて, ProxylessNAS を用いて提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-05T05:27:12Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation [4.595675084986132]
  畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
  論文  参考訳（メタデータ） (2020-07-06T13:42:33Z)
• Cyclic Differentiable Architecture Search [99.12381460261841]
  微分可能なArchiTecture Search(DARTS)は、ニューラルアーキテクチャサーチにおいて大きな注目を集めている。 我々はCDARTSと呼ばれる新しい共同目標と新しい周期微分可能なArchiTecture Searchフレームワークを提案する。 DARTS検索の分野では、CIFAR10で97.52%、ImageNetで76.3%、トップ1で76.3%の精度を達成した。
  論文  参考訳（メタデータ） (2020-06-18T17:55:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。