論文の概要: Automated Search-Space Generation Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2305.18030v2
• Date: Tue, 3 Oct 2023 06:11:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 08:16:16.207898
• Title: Automated Search-Space Generation Neural Architecture Search
• Title（参考訳）: 自動探索空間生成ニューラルアーキテクチャ探索
• Authors: Tianyi Chen, Luming Liang, Tianyu Ding, Ilya Zharkov
• Abstract要約: ASGNASは1ショット方式で高性能サブネットワークを生成する。 ASGNASは人間の努力を最小限にするために3つの顕著な貢献をしている。 ライブラリはhttps://github.com/tianyic/tianyic/only_train_once.comでリリースされる。
• 参考スコア（独自算出の注目度）: 45.902445271519596
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To search an optimal sub-network within a general deep neural network (DNN), existing neural architecture search (NAS) methods typically rely on handcrafting a search space beforehand. Such requirements make it challenging to extend them onto general scenarios without significant human expertise and manual intervention. To overcome the limitations, we propose Automated Search-Space Generation Neural Architecture Search (ASGNAS), perhaps the first automated system to train general DNNs that cover all candidate connections and operations and produce high-performing sub-networks in the one shot manner. Technologically, ASGNAS delivers three noticeable contributions to minimize human efforts: (i) automated search space generation for general DNNs; (ii) a Hierarchical Half-Space Projected Gradient (H2SPG) that leverages the hierarchy and dependency within generated search space to ensure the network validity during optimization, and reliably produces a solution with both high performance and hierarchical group sparsity; and (iii) automated sub-network construction upon the H2SPG solution. Numerically, we demonstrate the effectiveness of ASGNAS on a variety of general DNNs, including RegNet, StackedUnets, SuperResNet, and DARTS, over benchmark datasets such as CIFAR10, Fashion-MNIST, ImageNet, STL-10 , and SVNH. The sub-networks computed by ASGNAS achieve competitive even superior performance compared to the starting full DNNs and other state-of-the-arts. The library will be released at https://github.com/tianyic/only_train_once.
• Abstract（参考訳）: 汎用ディープニューラルネットワーク(DNN)内で最適なサブネットワークを探索するために、既存のニューラルネットワーク探索(NAS)手法は、通常、事前に検索空間を手作りすることに依存する。 このような要件は、人間の専門知識や手作業による介入なしに、一般的なシナリオにそれらを拡張することが難しくなります。 この制限を克服するために、我々は、おそらく、すべての候補接続と操作をカバーする一般的なdnnを訓練し、1ショットで高性能なサブネットワークを生成する最初の自動化システムである、サーチスペース生成ニューラルアーキテクチャサーチ(asgnas)を提案する。 技術的には、ASGNASは人間の努力を最小限にするために3つの顕著な貢献をしている。 (i)一般DNNのための検索空間の自動生成 (II)H2SPG(Hierarchical Half-Space Projected Gradient)は、生成した検索空間内の階層構造と依存性を利用して、最適化中のネットワークの妥当性を保証し、高性能かつ階層的なグループ間隔を持つ解を確実に生成する。 三) H2SPGソリューションによる自動サブネットワーク構築。 CIFAR10, Fashion-MNIST, ImageNet, STL-10 , SVNH などのベンチマークデータセットに対する RegNet, StackedUnets, SuperResNet, DARTS などの DNN に対する ASGNAS の有効性を数値的に示す。 ASGNASが計算したサブネットワークは、DNNや他の最先端技術と比較して、より優れたパフォーマンスを実現している。 ライブラリはhttps://github.com/tianyic/only_train_onceでリリースされる。

関連論文リスト

• G-EvoNAS: Evolutionary Neural Architecture Search Based on Network Growth [6.712149832731174]
  本稿では,ネットワーク成長(G-EvoNAS)に基づく計算効率の良いニューラルネットワーク進化探索フレームワークを提案する。 G-EvoNASはCIFAR10、CIFAR100、ImageNetの3つの一般的な画像分類データセットでテストされている。 実験の結果、G-EvoNASは0.2GPU日で最先端の設計に匹敵するニューラルネットワークアーキテクチャを見出すことができた。
  論文  参考訳（メタデータ） (2024-03-05T05:44:38Z)
• OTOv3: Automatic Architecture-Agnostic Neural Network Training and Compression from Structured Pruning to Erasing Operators [57.145175475579315]
  このトピックは、構造化プルーニングからニューラルアーキテクチャサーチまで、さまざまなテクニックにまたがっている。 第3世代のOTOv3(Noth-Train-Once)を導入する。 我々は,構造化プルーニングとニューラルアーキテクチャ探索におけるOTOv3の有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-15T00:22:55Z)
• Search For Deep Graph Neural Networks [4.3002928862077825]
  現在のGNN指向NAS法は、浅い単純なアーキテクチャを持つ異なる層集約コンポーネントの探索に重点を置いている。 本稿では,新しい2段階探索空間を持つGNN生成パイプラインを提案する。 実世界のデータセットの実験では、生成したGNNモデルは、既存の手動設計やNASベースのモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-09-21T09:24:59Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。