論文の概要: Neural Network Design: Learning from Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2011.00521v1
- Date: Sun, 1 Nov 2020 15:02:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 22:43:52.148627
- Title: Neural Network Design: Learning from Neural Architecture Search
- Title（参考訳）: ニューラルネットワーク設計 - ニューラルネットワークの検索から学ぶ
- Authors: Bas van Stein and Hao Wang and Thomas B\"ack
- Abstract要約: ニューラルネットワーク探索(NAS)は、ディープニューラルネットワークのアーキテクチャを最適化し、精度の向上や計算コストの削減を目的としている。
NASの課題を解決するための様々なアプローチが提案されているが、その性質とともに、その景観は滅多に研究されていない。
- 参考スコア（独自算出の注目度）: 3.9430294028981763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) aims to optimize deep neural networks'
architecture for better accuracy or smaller computational cost and has recently
gained more research interests. Despite various successful approaches proposed
to solve the NAS task, the landscape of it, along with its properties, are
rarely investigated. In this paper, we argue for the necessity of studying the
landscape property thereof and propose to use the so-called Exploratory
Landscape Analysis (ELA) techniques for this goal. Taking a broad set of
designs of the deep convolutional network, we conduct extensive experimentation
to obtain their performance. Based on our analysis of the experimental results,
we observed high similarities between well-performing architecture designs,
which is then used to significantly narrow the search space to improve the
efficiency of any NAS algorithm. Moreover, we extract the ELA features over the
NAS landscapes on three common image classification data sets, MNIST, Fashion,
and CIFAR-10, which shows that the NAS landscape can be distinguished for those
three data sets. Also, when comparing to the ELA features of the well-known
Black-Box Optimization Benchmarking (BBOB) problem set, we found out that the
NAS landscapes surprisingly form a new problem class on its own, which can be
separated from all $24$ BBOB problems. Given this interesting observation, we,
therefore, state the importance of further investigation on selecting an
efficient optimizer for the NAS landscape as well as the necessity of
augmenting the current benchmark problem set.
- Abstract（参考訳）: Neural Architecture Search (NAS)は、ディープニューラルネットワークのアーキテクチャを、精度の向上や計算コストの削減のために最適化することを目的としている。
nasタスクの解決に様々なアプローチが提案されているが、その特性とともにその景観が調査されることはほとんどない。
本稿では,その景観特性を研究することの必要性を論じ,この目的のために,いわゆる探索景観解析(ELA)技術を用いることを提案する。
深層畳み込みネットワークの設計を広範に行ない,その性能を得るために広範な実験を行った。
実験結果の解析結果から,nasアルゴリズムの効率を向上させるために探索空間を大幅に狭めるため,性能の高いアーキテクチャ設計との間に高い類似性を見出した。
さらに,3つの共通画像分類データセット (MNIST, Fashion, CIFAR-10) からNASランドスケープ上のERA特徴を抽出し,これらの3つのデータセットに対してNASランドスケープを区別可能であることを示す。
また、よく知られたブラックボックス最適化ベンチマーク(BBOB)問題セットのERA機能と比較すると、NASのランドスケープが驚くほど独自の新しい問題クラスを形成し、24ドルのBBOB問題から分離できることがわかった。
そこで,本研究では,nasランドスケープの効率的な最適化を行うためのさらなる調査の重要性と,現在のベンチマーク問題セットの強化の必要性について述べる。
関連論文リスト
- FlatNAS: optimizing Flatness in Neural Architecture Search for
Out-of-Distribution Robustness [3.724847012963521]
本研究では、FlatNAS(Flat Neural Architecture Search)と呼ばれる新しいNASソリューションを提案する。
シャープネス・アウェア・ミニマライゼーション(SAM)を用いた1つのNN最適化と頑健さから重みへの摂動に基づく新しいメリット像の相互作用を探索する。
NAS設計モデルのOODロバスト性は、文献における一般的なベンチマークデータセットを用いて、入力データの破損に対するロバスト性に着目して評価される。
論文 参考訳（メタデータ） (2024-02-29T12:33:14Z) - DONNAv2 -- Lightweight Neural Architecture Search for Vision tasks [6.628409795264665]
計算効率の良いニューラルアーキテクチャ蒸留 - DONNAv2 のための次世代ニューラルアーキテクチャ設計について述べる。
DONNAv2は、より大きなデータセットに対して、DONNAの計算コストを10倍削減する。
NASサーチスペースの品質を向上させるため、DONNAv2はブロック知識蒸留フィルタを利用して推論コストの高いブロックを除去する。
論文 参考訳（メタデータ） (2023-09-26T04:48:50Z) - UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。
これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。
NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
論文 参考訳（メタデータ） (2022-05-04T16:30:26Z) - Poisoning the Search Space in Neural Architecture Search [0.0]
我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。
以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
論文 参考訳（メタデータ） (2021-06-28T05:45:57Z) - Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。
MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。
いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
論文 参考訳（メタデータ） (2021-04-06T14:03:01Z) - BossNAS: Exploring Hybrid CNN-transformers with Block-wisely
Self-supervised Neural Architecture Search [100.28980854978768]
BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介
探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。
また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
論文 参考訳（メタデータ） (2021-03-23T10:05:58Z) - Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している
本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。
ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
論文 参考訳（メタデータ） (2020-11-19T13:46:23Z) - Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。
我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。
KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
論文 参考訳（メタデータ） (2020-10-26T11:57:37Z) - Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。
9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
論文 参考訳（メタデータ） (2020-09-08T15:51:23Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z) - DCNAS: Densely Connected Neural Architecture Search for Semantic Image
Segmentation [44.46852065566759]
Densely Connected NAS (DCNAS) フレームワークを提案し、視覚情報のマルチスケール表現に対して最適なネットワーク構造を直接検索する。
具体的には,学習可能な重みを使ってセルを相互に接続することにより,多数の主流ネットワーク設計をカバーするために,密結合された検索空間を導入する。
我々は、DCNASアルゴリズムから得られたアーキテクチャが、公開セマンティックイメージセグメンテーションベンチマーク上で最先端のパフォーマンスを達成することを実証した。
論文 参考訳（メタデータ） (2020-03-26T13:21:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。