論文の概要: Efficient Automation of Neural Network Design: A Survey on
Differentiable Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2304.05405v1
- Date: Tue, 11 Apr 2023 13:15:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 17:13:12.355946
- Title: Efficient Automation of Neural Network Design: A Survey on
Differentiable Neural Architecture Search
- Title（参考訳）: ニューラルネットワーク設計の効率的な自動化:微分可能なニューラルネットワーク探索に関する調査
- Authors: Alexandre Heuillet, Ahmad Nasser, Hichem Arioui, Hedi Tabia
- Abstract要約: 微分可能なニューラルネットワーク探索(DNAS)は、ディープニューラルネットワークアーキテクチャの発見を自動化するトレンドのアプローチとして、急速に自らを強制した。
この増加は主に、最初の主要なDNAS法の一つであるDARTSの人気が原因である。
本総説では,DNASに特に焦点をあて,最近のアプローチを概観する。
- 参考スコア（独自算出の注目度）: 70.31239620427526
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the past few years, Differentiable Neural Architecture Search (DNAS)
rapidly imposed itself as the trending approach to automate the discovery of
deep neural network architectures. This rise is mainly due to the popularity of
DARTS, one of the first major DNAS methods. In contrast with previous works
based on Reinforcement Learning or Evolutionary Algorithms, DNAS is faster by
several orders of magnitude and uses fewer computational resources. In this
comprehensive survey, we focus specifically on DNAS and review recent
approaches in this field. Furthermore, we propose a novel challenge-based
taxonomy to classify DNAS methods. We also discuss the contributions brought to
DNAS in the past few years and its impact on the global NAS field. Finally, we
conclude by giving some insights into future research directions for the DNAS
field.
- Abstract（参考訳）: 過去数年間、微分可能なニューラルネットワーク探索(DNAS)は、ディープニューラルネットワークアーキテクチャの発見を自動化するトレンドのアプローチとして、急速に自らを強制した。
この上昇は主に、最初の主要なdnas法の一つであるダーツの人気によるものである。
強化学習(Reinforcement Learning)や進化的アルゴリズム(Evolutionary Algorithms)に基づく以前の研究とは対照的に、DNASは桁違いに高速で計算資源が少ない。
この包括的調査では、特にdnaに焦点をあて、この分野の最近のアプローチをレビューする。
さらに,dnas法を分類するための新しいチャレンジに基づく分類法を提案する。
また、近年のDNASへの貢献と、その世界的なNAS分野への影響についても論じる。
最後に,DNAS分野の今後の研究方向性について,いくつかの知見を提供する。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - A Kernel-Based Neural Network Test for High-dimensional Sequencing Data
Analysis [0.8221435109014762]
シーケンシングデータの複雑な関連解析のための新しいカーネルベースニューラルネットワーク(KNN)テストを導入する。
KNNに基づいて、高次元遺伝データの関心の表現型との結合性を評価するために、ウォルド型試験が導入された。
論文 参考訳（メタデータ） (2023-12-05T16:06:23Z) - Accelerating Neural Architecture Exploration Across Modalities Using
Genetic Algorithms [5.620334754517149]
多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。
NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
論文 参考訳（メタデータ） (2022-02-25T20:01:36Z) - Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。
ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。
NASはコンピュータビジョンの幅広い問題に適用されている。
論文 参考訳（メタデータ） (2022-02-15T08:06:50Z) - Differentiable NAS Framework and Application to Ads CTR Prediction [30.74403362212425]
我々は、微分可能なニューラルネットワーク探索(DNAS)のための推論およびモジュラーフレームワークを実装している。
DNASを広告クリックスルー率(CTR)予測の問題に適用する。
我々は、CTR予測のための深層学習勧告モデル(DLRM)のバックボーンに新しい検索空間を開発し、調整し、Criteo Kaggle CTR予測データセットの最先端結果を報告する。
論文 参考訳（メタデータ） (2021-10-25T05:46:27Z) - Improving the sample-efficiency of neural architecture search with
reinforcement learning [0.0]
この作業では、Automated Machine Learning(AutoML)の領域にコントリビュートしたいと思っています。
我々の焦点は、最も有望な研究方向の一つ、強化学習である。
児童ネットワークの検証精度は、コントローラを訓練するための報奨信号として機能する。
我々は、これをより現代的で複雑なアルゴリズムであるPPOに修正することを提案する。
論文 参考訳（メタデータ） (2021-10-13T14:30:09Z) - D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。
セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
論文 参考訳（メタデータ） (2021-08-20T09:07:01Z) - On the Exploitation of Neuroevolutionary Information: Analyzing the Past
for a More Efficient Future [60.99717891994599]
本稿では,神経進化過程から情報を抽出し,メタモデルを構築するアプローチを提案する。
本稿では, 異なる特徴を有する生成的対向ネットワークの神経進化的探索における最良の構造について検討する。
論文 参考訳（メタデータ） (2021-05-26T20:55:29Z) - Search to aggregate neighborhood for graph neural network [47.47628113034479]
そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。
新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-14T03:15:19Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。