論文の概要: A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities

• arxiv url: http://arxiv.org/abs/2205.10358v1
• Date: Thu, 19 May 2022 20:41:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 19:30:54.461181
• Title: A Hardware-Aware Framework for Accelerating Neural Architecture Search Across Modalities
• Title（参考訳）: モダリティを横断するニューラルアーキテクチャ探索を高速化するハードウェアアウェアフレームワーク
• Authors: Daniel Cummings, Anthony Sarah, Sharath Nittur Sridhar, Maciej Szankin, Juan Pablo Munoz, Sairam Sundaresan
• Abstract要約: 進化的アルゴリズムが、アーキテクチャ探索を加速するために反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。 具体的には、進化的アルゴリズムがアーキテクチャ探索を加速する反復サイクルにおいて、軽量に訓練された客観的予測器とどのように組み合わせられるかを示す。
• 参考スコア（独自算出の注目度）: 7.542742087154667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Neural Architecture Search (NAS) such as one-shot NAS offer the ability to extract specialized hardware-aware sub-network configurations from a task-specific super-network. While considerable effort has been employed towards improving the first stage, namely, the training of the super-network, the search for derivative high-performing sub-networks is still under-explored. Popular methods decouple the super-network training from the sub-network search and use performance predictors to reduce the computational burden of searching on different hardware platforms. We propose a flexible search framework that automatically and efficiently finds optimal sub-networks that are optimized for different performance metrics and hardware configurations. Specifically, we show how evolutionary algorithms can be paired with lightly trained objective predictors in an iterative cycle to accelerate architecture search in a multi-objective setting for various modalities including machine translation and image classification.
• Abstract（参考訳）: ワンショットNASのようなニューラルアーキテクチャサーチ(NAS)の最近の進歩は、タスク固有のスーパーネットワークから特別なハードウェア対応サブネットワーク構成を抽出する機能を提供する。 第1段階の改良、すなわちスーパーネットワークの訓練にかなりの努力が払われているが、派生型高性能サブネットワークの探索はまだ未検討である。 一般的な手法では、サブネットワーク検索からスーパーネットワークトレーニングを分離し、さまざまなハードウェアプラットフォームでの検索の計算負荷を軽減するためにパフォーマンス予測器を使用する。 本稿では,様々な性能指標やハードウェア構成に最適化された最適なサブネットワークを自動かつ効率的に見つけるフレキシブル検索フレームワークを提案する。 具体的には、機械翻訳や画像分類などの多目的設定において、進化的アルゴリズムと軽量に訓練された客観的予測器を反復サイクルで組み合わせてアーキテクチャ探索を高速化する方法を示す。

関連論文リスト

• Combining Neural Architecture Search and Automatic Code Optimization: A Survey [0.8796261172196743]
  ハードウェア対応ニューラルアーキテクチャサーチ(HW-NAS)と自動コード最適化(ACO)の2つの特長がある。 HW-NASは正確だがハードウェアフレンドリなニューラルネットワークを自動設計する。 この調査では、これらの2つのテクニックをひとつのフレームワークで組み合わせた最近の研究について調査する。
  論文  参考訳（メタデータ） (2024-08-07T22:40:05Z)
• Multi-objective Differentiable Neural Architecture Search [58.67218773054753]
  本研究では,パフォーマンスとハードウェアメトリクスのトレードオフのために,ユーザの好みを符号化するNASアルゴリズムを提案する。 提案手法は,既存のMOO NAS手法を,定性的に異なる検索空間やデータセットの広い範囲で性能良くする。
  論文  参考訳（メタデータ） (2024-02-28T10:09:04Z)
• SimQ-NAS: Simultaneous Quantization Policy and Neural Architecture Search [6.121126813817338]
  最近のワンショットニューラルネットワーク検索アルゴリズムは、特定のタスクに適したハードウェアに依存しないスーパーネットワークをトレーニングし、異なるハードウェアプラットフォームのための効率的なサブネットワークを抽出する。 我々は,光学習された予測器と組み合わせた多目的探索アルゴリズムを用いることで,サブネットワークアーキテクチャとそれに対応する量子化ポリシーの両方を効率的に探索できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T22:08:49Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs [10.680700357879601]
  ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
  論文  参考訳（メタデータ） (2022-04-09T00:35:19Z)
• A Hardware-Aware System for Accelerating Deep Neural Network Optimization [7.189421078452572]
  本稿では,事前学習したスーパーネットワークからサブネットワークを自動的に,かつ効率的に検出する包括的システムを提案する。 新たな探索手法とアルゴリズムと予測器のインテリジェントな利用を組み合わせることで、最適なサブネットワークを見つけるのに必要な時間を著しく短縮する。
  論文  参考訳（メタデータ） (2022-02-25T20:07:29Z)
• Enhanced Gradient for Differentiable Architecture Search [17.431144144044968]
  ネットワーク性能の同時改善とネットワークの複雑性低減を目的としたニューラルネットワークアーキテクチャ探索アルゴリズムを提案する。 提案するフレームワークは,ブロックレベルの検索とネットワークレベルの検索という2段階のネットワークアーキテクチャを自動構築する。 実験の結果,本手法は画像分類において,すべての手作りネットワークよりも優れていた。
  論文  参考訳（メタデータ） (2021-03-23T13:27:24Z)
• Auto-Panoptic: Cooperative Multi-Component Architecture Search for Panoptic Segmentation [144.50154657257605]
  本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。 検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
  論文  参考訳（メタデータ） (2020-10-30T08:34:35Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。