論文の概要: Flexible Channel Dimensions for Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2306.08021v1
• Date: Tue, 13 Jun 2023 15:21:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 23:22:47.664734
• Title: Flexible Channel Dimensions for Differentiable Architecture Search
• Title（参考訳）: 可微分アーキテクチャ探索のためのフレキシブルチャネル次元
• Authors: Ahmet Caner Y\"uz\"ug\"uler and Nikolaos Dimitriadis and Pascal Frossard
• Abstract要約: 本稿では,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案するフレームワークは,タスク精度と推論遅延において,従来の手法と等価なDNNアーキテクチャを見つけることができることを示す。
• 参考スコア（独自算出の注目度）: 50.33956216274694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding optimal channel dimensions (i.e., the number of filters in DNN layers) is essential to design DNNs that perform well under computational resource constraints. Recent work in neural architecture search aims at automating the optimization of the DNN model implementation. However, existing neural architecture search methods for channel dimensions rely on fixed search spaces, which prevents achieving an efficient and fully automated solution. In this work, we propose a novel differentiable neural architecture search method with an efficient dynamic channel allocation algorithm to enable a flexible search space for channel dimensions. We show that the proposed framework is able to find DNN architectures that are equivalent to previous methods in task accuracy and inference latency for the CIFAR-10 dataset with an improvement of $1.3-1.7\times$ in GPU-hours and $1.5-1.7\times$ in the memory requirements during the architecture search stage. Moreover, the proposed frameworks do not require a well-engineered search space a priori, which is an important step towards fully automated design of DNN architectures.
• Abstract（参考訳）: 最適なチャネル次元(すなわちDNN層のフィルタ数)を見つけることは、計算資源制約下でよく機能するDNNの設計に不可欠である。 ニューラルアーキテクチャサーチにおける最近の研究は、DNNモデル実装の最適化を自動化することを目的としている。 しかし、既存のニューラルアーキテクチャによるチャネル次元の探索手法は固定された探索空間に依存しているため、効率的かつ完全に自動化されたソリューションの実現を妨げている。 本研究では,チャネル次元の柔軟な探索空間を実現するために,効率的な動的チャネル割当アルゴリズムを用いた新しい微分可能なニューラルアーキテクチャ探索法を提案する。 提案フレームワークは,CIFAR-10データセットのタスク精度と推論遅延において,従来の手法と同等のDNNアーキテクチャを,GPU時間で1.3-1.7\times$,アーキテクチャ検索時にメモリ要件で1.5-1.7\times$に改善した。 さらに,提案するフレームワークは,DNNアーキテクチャの完全自動設計に向けた重要なステップである,十分に設計された検索スペースを事前に必要としない。

関連論文リスト

• PLiNIO: A User-Friendly Library of Gradient-based Methods for Complexity-aware DNN Optimization [3.460496851517031]
  PLiNIOは、最先端のDNN設計自動化技術を包括的に実装したオープンソースライブラリである。 PLiNIOは、ベースラインアーキテクチャと比較して最大94.34%のメモリ削減を実現し、1%の精度低下を実現している。
  論文  参考訳（メタデータ） (2023-07-18T07:11:14Z)
• DASS: Differentiable Architecture Search for Sparse neural networks [0.5735035463793009]
  識別可能なアーキテクチャ探索手法により高密度ネットワーク用に設計されたアーキテクチャは,プルーニング機構を適用した場合,有効ではないことがわかった。 本稿では,スパシティフレンドリなニューラルアーキテクチャを探索する新しい手法を提案する。 検索空間に2つの新しいスパース操作を追加し、探索目的を変更することでこれを行う。
  論文  参考訳（メタデータ） (2022-07-14T14:53:50Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation [4.595675084986132]
  畳み込みニューラルネットワーク(CNN)のためのニューラルネットワーク探索(NAS)の検索空間は巨大である。 本稿では,既存の研究結果と過去の情報を利用して,軽量かつ高精度なアーキテクチャを迅速に発見するMoARRアルゴリズムを提案する。 実験結果から,CIFAR-10上でのMoARRは6GPU時間で1.9%の誤差率と2.3Mパラメータを持つ,強力で軽量なモデルを実現することができた。
  論文  参考訳（メタデータ） (2020-07-06T13:42:33Z)
• EDD: Efficient Differentiable DNN Architecture and Implementation Co-search for Embedded AI Solutions [40.32848001349242]
  本稿では,完全同時かつ効率的なDNNアーキテクチャと実装共同研究手法を提案する。 探索変数とハードウェア実装変数を1つの解空間に融合させることにより,共同探索問題を定式化し,アルゴリズムの精度とハードウェア実装品質を最大化する。
  論文  参考訳（メタデータ） (2020-05-06T02:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。