論文の概要: A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions

• arxiv url: http://arxiv.org/abs/2006.02903v3
• Date: Tue, 2 Mar 2021 08:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 06:21:22.135208
• Title: A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions
• Title（参考訳）: ニューラルアーキテクチャ探索の包括的調査:課題と解決
• Authors: Pengzhen Ren, Yun Xiao, Xiaojun Chang, Po-Yao Huang, Zhihui Li, Xiaojiang Chen, and Xin Wang
• Abstract要約: ニューラルネットワーク探索(NAS)は革命的アルゴリズムであり、関連する研究は複雑でリッチである。 まず、初期のNASアルゴリズムの特徴の概要から始め、これらの初期のNASアルゴリズムの問題を要約する。 さらに,これらの研究の詳細な分析,比較,要約を行う。
• 参考スコア（独自算出の注目度）: 48.76705090826339
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning has made breakthroughs and substantial in many fields due to its powerful automatic representation capabilities. It has been proven that neural architecture design is crucial to the feature representation of data and the final performance. However, the design of the neural architecture heavily relies on the researchers' prior knowledge and experience. And due to the limitations of human' inherent knowledge, it is difficult for people to jump out of their original thinking paradigm and design an optimal model. Therefore, an intuitive idea would be to reduce human intervention as much as possible and let the algorithm automatically design the neural architecture. Neural Architecture Search (NAS) is just such a revolutionary algorithm, and the related research work is complicated and rich. Therefore, a comprehensive and systematic survey on the NAS is essential. Previously related surveys have begun to classify existing work mainly based on the key components of NAS: search space, search strategy, and evaluation strategy. While this classification method is more intuitive, it is difficult for readers to grasp the challenges and the landmark work involved. Therefore, in this survey, we provide a new perspective: beginning with an overview of the characteristics of the earliest NAS algorithms, summarizing the problems in these early NAS algorithms, and then providing solutions for subsequent related research work. Besides, we conduct a detailed and comprehensive analysis, comparison, and summary of these works. Finally, we provide some possible future research directions.
• Abstract（参考訳）: ディープラーニングは、強力な自動表現能力によって、多くの分野でブレークスルーと実質的な進歩を遂げています。 ニューラルアーキテクチャの設計は、データの特徴表現と最終的なパフォーマンスにとって重要であることが証明されている。 しかし、ニューラルアーキテクチャの設計は、研究者の以前の知識と経験に大きく依存している。 そして、人間固有の知識の限界のため、人々が独自の思考パラダイムから飛び出して最適なモデルを設計することは困難である。 したがって、直感的なアイデアは、人間の介入をできるだけ少なくし、アルゴリズムが自動的に神経アーキテクチャを設計することである。 neural architecture search (nas)は、そのような革命的なアルゴリズムであり、関連する研究は複雑で豊かである。 そのため,nasの包括的かつ体系的な調査が不可欠である。 従来,NASの主要な構成要素である探索空間,探索戦略,評価戦略に基づいて,既存の研究を分類し始めている。 この分類法はより直感的であるが、読者が課題と関連するランドマーク作業を理解することは困難である。 そこで本研究では,初期のNASアルゴリズムの特徴を概観することから始まり,これらの早期NASアルゴリズムの問題を要約し,その後の研究課題に対する解決策を提供する。 さらに,これらの研究の詳細な分析,比較,要約を行う。 最後に,今後の研究方針について述べる。

関連論文リスト

• Insights from the Use of Previously Unseen Neural Architecture Search Datasets [6.239015118429603]
  我々は、一連のNASチャレンジのために作成された8つの新しいデータセットを示す:AddNIST、Language、MultNIST、CIFARTile、Gutenberg、Isabella、GeoClassing、Chesseract。 これらのデータセットと課題は、NAS開発における問題に注意を向け、開発時に未知のデータセット上でモデルがどのように機能するかを著者に検討するよう促すために開発されている。
  論文  参考訳（メタデータ） (2024-04-02T16:48:34Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Neural Architecture Search: Insights from 1000 Papers [50.27255667347091]
  ニューラルアーキテクチャサーチの組織的で包括的なガイドを提供する。 検索空間、アルゴリズム、スピードアップのテクニックを分類する。 ベンチマークやベストプラクティス,その他の調査,オープンソースライブラリなどのリソースについて論じる。
  論文  参考訳（メタデータ） (2023-01-20T18:47:24Z)
• Towards Data-and Knowledge-Driven Artificial Intelligence: A Survey on Neuro-Symbolic Computing [73.0977635031713]
  ニューラルシンボリック・コンピューティング(NeSy)は、人工知能(AI)の活発な研究領域である。 NeSyは、ニューラルネットワークにおける記号表現の推論と解釈可能性の利点と堅牢な学習の整合性を示す。
  論文  参考訳（メタデータ） (2022-10-28T04:38:10Z)
• Accelerating Neural Architecture Exploration Across Modalities Using Genetic Algorithms [5.620334754517149]
  多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。 NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
  論文  参考訳（メタデータ） (2022-02-25T20:01:36Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• A Comprehensive Survey on Hardware-Aware Neural Architecture Search [6.23453131728063]
  ニューラルアーキテクチャ検索(NAS)メソッドは人気が高まっています。 NASはここ数年で広範囲に研究されている。 実世界の問題にNASを適用することは依然として大きな課題であり、広く実用的ではない。 人気が高まっている1つのソリューションは、実行遅延、エネルギー消費、メモリフットプリントなどを考慮して、NAS検索戦略で多目的最適化アルゴリズムを使用することである。 ハードウェア認識NAS(HW-NAS)と呼ばれるこの種のNASは、最も効率的なアーキテクチャの検索をより複雑にし、いくつかの質問を開く。
  論文  参考訳（メタデータ） (2021-01-22T21:13:46Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。