論文の概要: Exploring the Loss Landscape in Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2005.02960v3
• Date: Wed, 16 Jun 2021 17:41:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 05:07:39.619716
• Title: Exploring the Loss Landscape in Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ検索における失われたランドスケープの探索
• Authors: Colin White, Sam Nolen, Yash Savani
• Abstract要約: 最も単純なヒルクライミングアルゴリズムはNASの強力なベースラインであることを示す。 また,雑音の減少に伴って局所最小値が大幅に減少することを示す。
• 参考スコア（独自算出の注目度）: 15.830099254570959
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has seen a steep rise in interest over the last few years. Many algorithms for NAS consist of searching through a space of architectures by iteratively choosing an architecture, evaluating its performance by training it, and using all prior evaluations to come up with the next choice. The evaluation step is noisy - the final accuracy varies based on the random initialization of the weights. Prior work has focused on devising new search algorithms to handle this noise, rather than quantifying or understanding the level of noise in architecture evaluations. In this work, we show that (1) the simplest hill-climbing algorithm is a powerful baseline for NAS, and (2), when the noise in popular NAS benchmark datasets is reduced to a minimum, hill-climbing to outperforms many popular state-of-the-art algorithms. We further back up this observation by showing that the number of local minima is substantially reduced as the noise decreases, and by giving a theoretical characterization of the performance of local search in NAS. Based on our findings, for NAS research we suggest (1) using local search as a baseline, and (2) denoising the training pipeline when possible.
• Abstract（参考訳）: neural architecture search (nas) はここ数年で大きな関心を集めている。 nasの多くのアルゴリズムは、アーキテクチャを反復的に選択することでアーキテクチャの空間を探索し、その性能をトレーニングすることで評価し、すべての事前評価を使用して次の選択を導出する。 評価ステップはノイズが多く、最終的な精度は重みのランダムな初期化に基づいて変化する。 以前の研究は、アーキテクチャ評価のノイズレベルを定量化し理解するのではなく、このノイズを処理するための新しい検索アルゴリズムの開発に重点を置いてきた。 本研究では,(1)最も単純なヒルクライミングアルゴリズムはNASの強力なベースラインであり,(2)一般的なNASベンチマークデータセットのノイズが最小限に減らされた場合,ヒルクライミングが多くの最先端アルゴリズムより優れていることを示す。 さらに,nasにおける局所探索の性能を理論的に評価することにより,ノイズの低減に伴って局所的ミニマ数が大幅に減少することを示すことにより,この観測を裏付ける。 NAS 調査では,(1) 局所探索をベースラインとして用いること,(2) トレーニングパイプラインを可能な限りデノベートすることを提案する。

関連論文リスト

• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• Heed the Noise in Performance Evaluations in Neural Architecture Search [0.0]
  ニューラルアーキテクチャサーチ(NAS)は最近、大きな関心事のトピックになっている。 NASには、ほとんど認識されていないノイズという、潜在的に影響のある問題がある。 本稿では、複数のネットワークトレーニング実行におけるスコアの平均化をアーキテクチャ評価することで、ノイズを低減することを提案する。
  論文  参考訳（メタデータ） (2022-02-04T11:20:46Z)
• Towards a Robust Differentiable Architecture Search under Label Noise [44.86506257979988]
  バニラNASアルゴリズムは, クラスラベルがうるさい場合, 性能損失に悩まされることを示す。 実験により, ノイズ注入操作がNASアルゴリズムの性能を低下させないことを示す。
  論文  参考訳（メタデータ） (2021-10-23T11:31:06Z)
• Going Beyond Neural Architecture Search with Sampling-based Neural Ensemble Search [31.059040393415003]
  本稿では,Nurural Ensemble Search via Smpling (NESS) フレームワークに基づく2つの新しいサンプリングアルゴリズムを提案する。 我々のNESSアルゴリズムは、分類タスクと対角防御タスクの両方において改善された性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-09-06T15:18:37Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size [31.903475598150152]
  アーキテクチャトポロジとサイズの両方を検索するための統一ベンチマークであるNATS-Benchを提案する。 NATS-Benchには、アーキテクチャトポロジのための15,625のニューラルネットワーク候補と、3つのデータセット上のアーキテクチャサイズのための32,768の検索スペースが含まれている。
  論文  参考訳（メタデータ） (2020-08-28T21:34:56Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。