論文の概要: Towards Automatic Neural Architecture Search within General Super-Networks

• arxiv url: http://arxiv.org/abs/2305.18030v1
• Date: Thu, 25 May 2023 19:41:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 15:09:20.809231
• Title: Towards Automatic Neural Architecture Search within General Super-Networks
• Title（参考訳）: 一般スーパーネットワークにおけるニューラルネットワークの自動探索に向けて
• Authors: Tianyi Chen, Luming Liang, Tianyu Ding, Ilya Zharkov
• Abstract要約: 第3世代Noth-Train-Once(OTOv3)を提案する。 OTOv3はおそらく、一般的なスーパーネットワークを訓練し、単発で高性能なサブネットワークを事前訓練や微調整なしで製造する最初の自動化システムである。 我々は、ベンチマークデータセット上でのRegNet、StackedUnets、SuperResNet、DARTSなど、さまざまなスーパーネットワークにおけるOTOv3の有効性を実証する。
• 参考スコア（独自算出の注目度）: 27.248103390834835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing neural architecture search (NAS) methods typically rely on pre-specified super deep neural networks (super-networks) with handcrafted search spaces beforehand. Such requirements make it challenging to extend them onto general scenarios without significant human expertise and manual intervention. To overcome the limitations, we propose the third generation of Only-Train-Once (OTOv3). OTOv3 is perhaps the first automated system that trains general super-networks and produces high-performing sub-networks in the one shot manner without pretraining and fine-tuning. Technologically, OTOv3 delivers three noticeable contributions to minimize human efforts: (i) automatic search space construction for general super-networks; (ii) a Hierarchical Half-Space Projected Gradient (H2SPG) that leverages the dependency graph to ensure the network validity during optimization and reliably produces a solution with both high performance and hierarchical group sparsity; and (iii) automatic sub-network construction based on the super-network and the H2SPG solution. Numerically, we demonstrate the effectiveness of OTOv3 on a variety of super-networks, including RegNet, StackedUnets, SuperResNet, and DARTS, over benchmark datasets such as CIFAR10, Fashion-MNIST, ImageNet, STL-10, and SVNH. The sub-networks computed by OTOv3 achieve competitive even superior performance compared to the super-networks and other state-of-the-arts. The library will be released at https://github.com/tianyic/only_train_once.
• Abstract（参考訳）: 既存のニューラルネットワークサーチ(NAS)手法は、通常、事前に手作りのサーチスペースを持つ、特定の超深層ニューラルネットワーク(スーパーネットワーク)に依存している。 このような要件は、人間の専門知識や手作業による介入なしに、一般的なシナリオにそれらを拡張することが難しくなります。 この制限を克服するため、我々はNot-Train-Once(OTOv3)の第3世代を提案する。 OTOv3はおそらく、一般的なスーパーネットワークを訓練し、単発で高性能なサブネットワークを事前訓練や微調整なしで製造する最初の自動化システムである。 技術的には、OTOv3は人間の努力を最小限にするために3つの顕著な貢献をしている。 (i)一般スーパーネットワークのための検索空間の自動構築 (ii)階層的半空間投影勾配(h2spg)で、依存グラフを利用して最適化中のネットワークの妥当性を確保し、高い性能と階層的グループスパーシティの両方のソリューションを確実に作成する。 (iii)スーパーネットワークとh2spgソリューションに基づくサブネットワークの自動構築。 数値計算により,regnet,stackedunets,superresnet,dartなどのスーパーネットワーク上で,cifar10, fashion-mnist,imagenet,stl-10,svnhなどのベンチマークデータセット上でのotov3の有効性を示す。 OTOv3によって計算されたサブネットワークは、スーパーネットワークや他の最先端技術と比較して、より優れたパフォーマンスを達成する。 ライブラリはhttps://github.com/tianyic/only_train_onceでリリースされる。

関連論文リスト

• G-EvoNAS: Evolutionary Neural Architecture Search Based on Network Growth [6.712149832731174]
  本稿では,ネットワーク成長(G-EvoNAS)に基づく計算効率の良いニューラルネットワーク進化探索フレームワークを提案する。 G-EvoNASはCIFAR10、CIFAR100、ImageNetの3つの一般的な画像分類データセットでテストされている。 実験の結果、G-EvoNASは0.2GPU日で最先端の設計に匹敵するニューラルネットワークアーキテクチャを見出すことができた。
  論文  参考訳（メタデータ） (2024-03-05T05:44:38Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• Search For Deep Graph Neural Networks [4.3002928862077825]
  現在のGNN指向NAS法は、浅い単純なアーキテクチャを持つ異なる層集約コンポーネントの探索に重点を置いている。 本稿では,新しい2段階探索空間を持つGNN生成パイプラインを提案する。 実世界のデータセットの実験では、生成したGNNモデルは、既存の手動設計やNASベースのモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-09-21T09:24:59Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。