論文の概要: Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners

• arxiv url: http://arxiv.org/abs/2006.09264v3
• Date: Fri, 4 Jun 2021 15:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:06:18.159577
• Title: Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners
• Title（参考訳）: Bonsai-Net: 微分プラナーによるワンショットニューラルネットワーク検索
• Authors: Rob Geada, Dennis Prangle, Andrew Stephen McGough
• Abstract要約: ワンショットニューラルアーキテクチャサーチ(NAS)は、最先端のモデルを発見する際の計算コストを最小限にすることを目的としている。 緩和された検索空間を探索するために,効率的なワンショットNAS手法であるBonsai-Netを提案する。
• 参考スコア（独自算出の注目度）: 1.4180331276028662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot Neural Architecture Search (NAS) aims to minimize the computational expense of discovering state-of-the-art models. However, in the past year attention has been drawn to the comparable performance of naive random search across the same search spaces used by leading NAS algorithms. To address this, we explore the effects of drastically relaxing the NAS search space, and we present Bonsai-Net, an efficient one-shot NAS method to explore our relaxed search space. Bonsai-Net is built around a modified differential pruner and can consistently discover state-of-the-art architectures that are significantly better than random search with fewer parameters than other state-of-the-art methods. Additionally, Bonsai-Net performs simultaneous model search and training, dramatically reducing the total time it takes to generate fully-trained models from scratch.
• Abstract（参考訳）: one-shot neural architecture search (nas) は最先端モデルの発見の計算コストを最小化することを目的としている。 しかし、過去1年間、nasアルゴリズムの先駆者によって使われている同じ検索空間におけるナイーブランダム検索の同等の性能に注目が集まっている。 そこで我々は,NAS探索空間を劇的に緩和する効果について検討し,緩和された探索空間を探索するための効率的な一発NAS手法であるBonsai-Netを提案する。 bonsai-netは改良されたディファレンシャルプルーナを中心に構築されており、他の最先端メソッドよりもパラメータの少ないランダム検索よりも優れた最先端アーキテクチャを一貫して発見することができる。 さらに、Bonsai-Netはモデル検索とトレーニングを同時に行い、完全に訓練されたモデルをゼロから生成するのに要する時間を劇的に短縮する。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Lightweight Monocular Depth with a Novel Neural Architecture Search Method [46.97673710849343]
  本稿では,軽量な単分子深度推定モデルを生成するために,LiDNASと呼ばれる新しいニューラルネットワーク探索手法を提案する。 我々は,階層の多様性と探索空間の大きさのバランスをとるために,事前に定義されたバックボーンネットワーク上に探索空間を構築した。 LiDNAS最適化モデルは、NYU-Depth-v2、KITTI、ScanNet上でのコンパクトな深さ推定よりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2021-08-25T08:06:28Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search [15.017964136568061]
  単発モデルの精度が高いモデルでは,スタンドアローンの訓練では必ずしも優れた性能が得られない。 PAD-NASという検索空間のプログレッシブ自動設計を提案する。 このようにして、PAD-NASは各レイヤの操作を自動的に設計し、検索空間の品質とモデルの多様性のトレードオフを達成できる。
  論文  参考訳（メタデータ） (2020-05-15T14:21:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。