Fugu-MT 論文翻訳(概要): Towards Less Constrained Macro-Neural Architecture Search

論文の概要: Towards Less Constrained Macro-Neural Architecture Search

arxiv url: http://arxiv.org/abs/2203.05508v1
Date: Thu, 10 Mar 2022 17:53:03 GMT
ステータス: 処理完了
システム内更新日: 2022-03-11 13:37:09.269618
Title: Towards Less Constrained Macro-Neural Architecture Search
Title（参考訳）: 制約の少ないマクロニューラルアーキテクチャ探索に向けて
Authors: Vasco Lopes and Lu\'is A. Alexandre
Abstract要約: ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
参考スコア（独自算出の注目度）: 2.685668802278155
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Networks found with Neural Architecture Search (NAS) achieve state-of-the-art performance in a variety of tasks, out-performing human-designed networks. However, most NAS methods heavily rely on human-defined assumptions that constrain the search: architecture's outer-skeletons, number of layers, parameter heuristics and search spaces. Additionally, common search spaces consist of repeatable modules (cells) instead of fully exploring the architecture's search space by designing entire architectures (macro-search). Imposing such constraints requires deep human expertise and restricts the search to pre-defined settings. In this paper, we propose LCMNAS, a method that pushes NAS to less constrained search spaces by performing macro-search without relying on pre-defined heuristics or bounded search spaces. LCMNAS introduces three components for the NAS pipeline: i) a method that leverages information about well-known architectures to autonomously generate complex search spaces based on Weighted Directed Graphs with hidden properties, ii) a evolutionary search strategy that generates complete architectures from scratch, and iii) a mixed-performance estimation approach that combines information about architectures at initialization stage and lower fidelity estimates to infer their trainability and capacity to model complex functions. We present experiments showing that LCMNAS generates state-of-the-art architectures from scratch with minimal GPU computation. We study the importance of different NAS components on a macro-search setting. Code for reproducibility is public at \url{https://github.com/VascoLopes/LCMNAS}.
Abstract（参考訳）: Neural Architecture Search (NAS)で発見されたネットワークは、さまざまなタスクにおいて最先端のパフォーマンスを達成する。しかし、ほとんどのnas手法は探索を制約する人間定義の仮定に大きく依存している: アーキテクチャの外骨格、層数、パラメータヒューリスティック、探索空間。さらに、共通検索空間は、アーキテクチャ全体(macro-search)を設計することによって、アーキテクチャの検索空間を完全に探索する代わりに、繰り返し可能なモジュール(セル)で構成される。このような制約を課すには、人間の深い専門知識が必要であり、検索を事前定義された設定に制限する。本稿では,事前定義されたヒューリスティックスや有界探索空間に頼ることなく,マクロ探索を行うことにより,NASを制約の少ない探索空間にプッシュする手法であるLCMNASを提案する。 LCMNASはNASパイプラインの3つのコンポーネントを導入した。一よく知られた建築に関する情報を利用して、隠された特性を有する重み付き指向グラフに基づく複雑な検索空間を自律的に生成する方法二完全な建築をゼロから生成する進化的探索戦略及び三初期化段階における建築情報と低忠実度推定とを組み合わせて、複雑な関数をモデル化するための訓練性とキャパシティを推定する混合性能推定手法。我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。マクロ検索におけるNAS成分の重要性について検討した。再現性に関するコードは \url{https://github.com/VascoLopes/LCMNAS} で公開されている。

関連論文リスト

einspace: Searching for Neural Architectures from Fundamental Operations [28.346238250052455]
本稿では,パラメータ化された確率的文脈自由文法に基づく検索空間であるeinspaceを紹介する。競合アーキテクチャはゼロから検索することで得ることができ、強力なベースラインで検索を初期化する際には、常に大きな改善が得られます。
論文参考訳（メタデータ） (2024-05-31T14:25:45Z)
DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文参考訳（メタデータ） (2024-03-02T22:16:47Z)
Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
文脈自由文法に基づく統一検索空間設計フレームワークを提案する。それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
論文参考訳（メタデータ） (2022-11-03T14:23:00Z)
BLOX: Macro Neural Architecture Search Benchmark and Algorithms [16.296454205012733]
ニューラルアーキテクチャサーチ(NAS)は、多数の高性能ニューラルネットワークの設計に成功している。 NASは一般に計算集約的であるため、既存のほとんどのアプローチでは、単一のブロックの操作と位相構造を決定するために探索を制限している。近年の研究では、モデル内のブロックが異なることができるマクロ検索空間が、より良い性能をもたらすことが示されている。
論文参考訳（メタデータ） (2022-10-13T18:06:39Z)
On Redundancy and Diversity in Cell-based Neural Architecture Search [44.337381243798085]
一般的なセルベースの検索空間からアーキテクチャを実証分析する。アーキテクチャのパフォーマンスは、細胞の大部分における変更に対して最小限に敏感であることに気付きました。細胞にこれらのパターンを明示的に含ませることによって、ランダムにサンプリングされたアーキテクチャは、芸術の状態をマッチさせたり、上回りさせたりすることができる。
論文参考訳（メタデータ） (2022-03-16T18:59:29Z)
Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
論文参考訳（メタデータ） (2020-12-24T12:06:17Z)
Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
論文参考訳（メタデータ） (2020-07-07T02:29:06Z)
Learning Architectures from an Extended Search Space for Language Modeling [37.79977691127229]
ニューラルアーキテクチャサーチ(NAS)のセル内アーキテクチャとセル間アーキテクチャの両方を学ぶための一般的なアプローチを提案する。繰り返しのニューラルネットワークモデリングでは、TBとWikiTextのデータに対して強力なベースラインをはるかに上回り、TBに新たな最先端技術が導入された。学習したアーキテクチャは、他のシステムに優れた転送可能性を示す。
論文参考訳（メタデータ） (2020-05-06T05:02:33Z)
Angle-based Search Space Shrinking for Neural Architecture Search [78.49722661000442]
ニューラルネットワーク探索(NAS)のためのアングルベースサーチスペーススライキング(ABS) 提案手法は,未提案の候補を落として,検索空間を段階的に単純化する。 ABSは、有望なスランク検索空間を提供することで、既存のNASアプローチを劇的に強化することができる。
論文参考訳（メタデータ） (2020-04-28T11:26:46Z)
MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-03-31T09:49:14Z)
DCNAS: Densely Connected Neural Architecture Search for Semantic Image Segmentation [44.46852065566759]
Densely Connected NAS (DCNAS) フレームワークを提案し、視覚情報のマルチスケール表現に対して最適なネットワーク構造を直接検索する。具体的には,学習可能な重みを使ってセルを相互に接続することにより,多数の主流ネットワーク設計をカバーするために,密結合された検索空間を導入する。我々は、DCNASアルゴリズムから得られたアーキテクチャが、公開セマンティックイメージセグメンテーションベンチマーク上で最先端のパフォーマンスを達成することを実証した。
論文参考訳（メタデータ） (2020-03-26T13:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。