論文の概要: Enabling NAS with Automated Super-Network Generation

• arxiv url: http://arxiv.org/abs/2112.10878v1
• Date: Mon, 20 Dec 2021 21:45:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 00:39:45.489973
• Title: Enabling NAS with Automated Super-Network Generation
• Title（参考訳）: 超ネットワーク自動生成によるNASの実現
• Authors: J. Pablo Mu\~noz, Nikolay Lyalyushkin, Yash Akhauri, Anastasia Senina, Alexander Kozlov, Nilesh Jain
• Abstract要約: 最近のニューラルアーキテクチャサーチ(NAS)ソリューションは、スーパーネットワークをトレーニングし、それから導出作業を行うという印象的な結果を生み出している。 本稿では,NAS用スーパーネットワークの自動生成のためのソフトウェアフレームワークであるBootstrapNASを紹介する。
• 参考スコア（独自算出の注目度）: 60.72821429802335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent Neural Architecture Search (NAS) solutions have produced impressive results training super-networks and then deriving subnetworks, a.k.a. child models that outperform expert-crafted models from a pre-defined search space. Efficient and robust subnetworks can be selected for resource-constrained edge devices, allowing them to perform well in the wild. However, constructing super-networks for arbitrary architectures is still a challenge that often prevents the adoption of these approaches. To address this challenge, we present BootstrapNAS, a software framework for automatic generation of super-networks for NAS. BootstrapNAS takes a pre-trained model from a popular architecture, e.g., ResNet- 50, or from a valid custom design, and automatically creates a super-network out of it, then uses state-of-the-art NAS techniques to train the super-network, resulting in subnetworks that significantly outperform the given pre-trained model. We demonstrate the solution by generating super-networks from arbitrary model repositories and make available the resulting super-networks for reproducibility of the results.
• Abstract（参考訳）: 最近のneural architecture search (nas)ソリューションは、スーパーネットワークをトレーニングし、事前定義された検索空間から専門家が作り出したモデルを上回るサブネットワークを導出する印象的な結果を生み出している。 効率的でロバストなサブネットワークは、リソース制約のあるエッジデバイスで選択可能で、ワイルドでうまく動作します。 しかし、任意のアーキテクチャのためにスーパーネットワークを構築することは、これらのアプローチの採用を妨げることがしばしばある課題である。 そこで本研究では,nas用スーパーネットワークの自動生成のためのソフトウェアフレームワークbootstrapnasを提案する。 bootstrapnasは、resnet-50のような一般的なアーキテクチャから、あるいは有効なカスタム設計から事前トレーニングされたモデルを取得し、自動的にスーパーネットワークを生成し、最先端のnas技術を使用してスーパーネットワークをトレーニングする。 任意のモデルリポジトリからスーパーネットワークを生成して,結果の再現性を実現することで,そのソリューションを実証する。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search [7.967995669387532]
  我々は,多目的探索アルゴリズムを改善するニューラルアーキテクチャトランスファー(NAT)の拡張であるNATv2を提案する。 NATv2は、改良されたスーパーネットワークを利用することで、抽出可能なサブネットワークの質的な改善を実現している。
  論文  参考訳（メタデータ） (2023-07-03T12:25:09Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• NASRec: Weight Sharing Neural Architecture Search for Recommender Systems [40.54254555949057]
  NASRecは,1つのスーパーネットをトレーニングし,重量共有により豊富なモデル/サブアーキテクチャを効率的に生成するパラダイムである。 CTR(Click-Through Rates)の3つの予測ベンチマークの結果,NASRecは手動設計モデルと既存のNAS手法の両方より優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-14T20:15:11Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• A Hardware-Aware System for Accelerating Deep Neural Network Optimization [7.189421078452572]
  本稿では,事前学習したスーパーネットワークからサブネットワークを自動的に,かつ効率的に検出する包括的システムを提案する。 新たな探索手法とアルゴリズムと予測器のインテリジェントな利用を組み合わせることで、最適なサブネットワークを見つけるのに必要な時間を著しく短縮する。
  論文  参考訳（メタデータ） (2022-02-25T20:07:29Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。