論文の概要: A Hardware-Aware System for Accelerating Deep Neural Network Optimization

• arxiv url: http://arxiv.org/abs/2202.12954v1
• Date: Fri, 25 Feb 2022 20:07:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:49:51.792289
• Title: A Hardware-Aware System for Accelerating Deep Neural Network Optimization
• Title（参考訳）: ディープニューラルネットワーク最適化を高速化するハードウェア・アウェアシステム
• Authors: Anthony Sarah, Daniel Cummings, Sharath Nittur Sridhar, Sairam Sundaresan, Maciej Szankin, Tristan Webb, J. Pablo Munoz
• Abstract要約: 本稿では,事前学習したスーパーネットワークからサブネットワークを自動的に,かつ効率的に検出する包括的システムを提案する。 新たな探索手法とアルゴリズムと予測器のインテリジェントな利用を組み合わせることで、最適なサブネットワークを見つけるのに必要な時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 7.189421078452572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Neural Architecture Search (NAS) which extract specialized hardware-aware configurations (a.k.a. "sub-networks") from a hardware-agnostic "super-network" have become increasingly popular. While considerable effort has been employed towards improving the first stage, namely, the training of the super-network, the search for derivative high-performing sub-networks is still largely under-explored. For example, some recent network morphism techniques allow a super-network to be trained once and then have hardware-specific networks extracted from it as needed. These methods decouple the super-network training from the sub-network search and thus decrease the computational burden of specializing to different hardware platforms. We propose a comprehensive system that automatically and efficiently finds sub-networks from a pre-trained super-network that are optimized to different performance metrics and hardware configurations. By combining novel search tactics and algorithms with intelligent use of predictors, we significantly decrease the time needed to find optimal sub-networks from a given super-network. Further, our approach does not require the super-network to be refined for the target task a priori, thus allowing it to interface with any super-network. We demonstrate through extensive experiments that our system works seamlessly with existing state-of-the-art super-network training methods in multiple domains. Moreover, we show how novel search tactics paired with evolutionary algorithms can accelerate the search process for ResNet50, MobileNetV3 and Transformer while maintaining objective space Pareto front diversity and demonstrate an 8x faster search result than the state-of-the-art Bayesian optimization WeakNAS approach.
• Abstract（参考訳）: ハードウェアに依存しない「スーパーネットワーク」から特別なハードウェア対応構成(サブネットワーク)を抽出するニューラルネットワークサーチ(NAS)の最近の進歩は、ますます人気が高まっている。 第1段階、すなわちスーパーネットワークの訓練に多大な努力が払われているが、派生的な高性能サブネットワークの探索はいまだに未調査である。 例えば、最近のネットワークモーフィズム技術では、スーパーネットワークを一度訓練し、必要に応じてハードウェア固有のネットワークを抽出することができる。 これらの手法はサブネットワーク探索からスーパーネットワークトレーニングを分離し、異なるハードウェアプラットフォームへの特殊化の計算負荷を低減する。 本稿では,様々な性能指標とハードウェア構成に最適化された事前学習スーパーネットワークから,サブネットワークを自動的にかつ効率的に検出する総合システムを提案する。 新しい探索戦術とアルゴリズムを予測器のインテリジェントな利用と組み合わせることで、与えられたスーパーネットワークから最適なサブネットワークを見つけるのに必要な時間を大幅に削減する。 さらに,本手法では,対象のタスクを優先的に改良する必要がなく,任意のスーパーネットワークとのインタフェースが可能である。 複数のドメインにおける既存の最先端のスーパーネットワークトレーニング手法とシームレスに動作することを示す。 さらに,新たな探索手法と進化アルゴリズムを組み合わせることで,対象空間のパレート・フロントの多様性を維持しつつ,resnet50,mobilenetv3,transformerの検索プロセスを高速化し,最先端ベイズ最適化の弱さアプローチよりも8倍高速に検索結果を示す。

関連論文リスト

• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities [7.542742087154667]
  進化的アルゴリズムが、アーキテクチャ探索を加速するために反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。 具体的には、進化的アルゴリズムがアーキテクチャ探索を加速する反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。
  論文  参考訳（メタデータ） (2022-05-19T20:41:01Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• Enabling NAS with Automated Super-Network Generation [60.72821429802335]
  最近のニューラルアーキテクチャサーチ(NAS)ソリューションは、スーパーネットワークをトレーニングし、それから導出作業を行うという印象的な結果を生み出している。 本稿では,NAS用スーパーネットワークの自動生成のためのソフトウェアフレームワークであるBootstrapNASを紹介する。
  論文  参考訳（メタデータ） (2021-12-20T21:45:48Z)
• Searching for Efficient Multi-Stage Vision Transformers [42.0565109812926]
  Vision Transformer (ViT)は、自然言語処理のためのTransformerがコンピュータビジョンタスクに適用可能であることを示す。 ViT-ResNASは、ニューラルネットワークサーチ(NAS)で設計された効率的なマルチステージViTアーキテクチャである
  論文  参考訳（メタデータ） (2021-09-01T22:37:56Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。