論文の概要: Stage-Wise Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.11178v2
• Date: Mon, 19 Oct 2020 21:59:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 09:57:31.425476
• Title: Stage-Wise Neural Architecture Search
• Title（参考訳）: ステージワイズ型ニューラルアーキテクチャ探索
• Authors: Artur Jordao, Fernando Akio, Maiko Lie and William Robson Schwartz
• Abstract要約: ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
• 参考スコア（独自算出の注目度）: 65.03109178056937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern convolutional networks such as ResNet and NASNet have achieved state-of-the-art results in many computer vision applications. These architectures consist of stages, which are sets of layers that operate on representations in the same resolution. It has been demonstrated that increasing the number of layers in each stage improves the prediction ability of the network. However, the resulting architecture becomes computationally expensive in terms of floating point operations, memory requirements and inference time. Thus, significant human effort is necessary to evaluate different trade-offs between depth and performance. To handle this problem, recent works have proposed to automatically design high-performance architectures, mainly by means of neural architecture search (NAS). Current NAS strategies analyze a large set of possible candidate architectures and, hence, require vast computational resources and take many GPUs days. Motivated by this, we propose a NAS approach to efficiently design accurate and low-cost convolutional architectures and demonstrate that an efficient strategy for designing these architectures is to learn the depth stage-by-stage. For this purpose, our approach increases depth incrementally in each stage taking into account its importance, such that stages with low importance are kept shallow while stages with high importance become deeper. We conduct experiments on the CIFAR and different versions of ImageNet datasets, where we show that architectures discovered by our approach achieve better accuracy and efficiency than human-designed architectures. Additionally, we show that architectures discovered on CIFAR-10 can be successfully transferred to large datasets. Compared to previous NAS approaches, our method is substantially more efficient, as it evaluates one order of magnitude fewer models and yields architectures on par with the state-of-the-art.
• Abstract（参考訳）: ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのアーキテクチャはステージで構成され、同じ解像度で表現を操作するレイヤの集合である。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として生じるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算量的に高価になる。 したがって、深さと性能の異なるトレードオフを評価するためには、重要な人的努力が必要である。 この問題に対処するため,ニューラルアーキテクチャサーチ(NAS)を中心に,高性能アーキテクチャを自動設計する研究が近年提案されている。 現在のnas戦略は、候補となるアーキテクチャの大規模な集合を分析するため、膨大な計算リソースを必要とし、多くのgpuを要します。 そこで本研究では,NASによる高精度かつ低コストな畳み込みアーキテクチャを効率的に設計する手法を提案し,これらのアーキテクチャを設計するための効果的な戦略がステージごとの深度学習であることを示す。 この目的のために,重要度の低い段階を浅く保ち,重要度の高い段階を深く保つように,その重要性を考慮した各段階の深さを段階的に増加させる。 我々は、CIFARと異なるバージョンのImageNetデータセットで実験を行い、提案手法によって発見されたアーキテクチャは、人間の設計したアーキテクチャよりも精度と効率が良いことを示す。 さらに,CIFAR-10で発見されたアーキテクチャを大規模データセットに転送することができた。 従来のnasアプローチと比較して、この手法は1桁のモデルを小さく評価し、最先端のアーキテクチャに匹敵するほど効率が良いのです。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Operation Embeddings for Neural Architecture Search [15.033712726016255]
  最適化プロセスにおいて、固定演算子エンコーディングを学習可能な表現に置き換えることを提案する。 本手法は,同様の操作とグラフパターンを共有するトップパフォーマンスアーキテクチャを生成する。
  論文  参考訳（メタデータ） (2021-05-11T09:17:10Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels [17.945881805452288]
  現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。 そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。 提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T04:10:34Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• DCNAS: Densely Connected Neural Architecture Search for Semantic Image Segmentation [44.46852065566759]
  Densely Connected NAS (DCNAS) フレームワークを提案し、視覚情報のマルチスケール表現に対して最適なネットワーク構造を直接検索する。 具体的には,学習可能な重みを使ってセルを相互に接続することにより,多数の主流ネットワーク設計をカバーするために,密結合された検索空間を導入する。 我々は、DCNASアルゴリズムから得られたアーキテクチャが、公開セマンティックイメージセグメンテーションベンチマーク上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2020-03-26T13:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。