論文の概要: Heed the Noise in Performance Evaluations in Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2202.02078v1
• Date: Fri, 4 Feb 2022 11:20:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-07 22:10:20.274300
• Title: Heed the Noise in Performance Evaluations in Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索における性能評価のノイズについて
• Authors: Arkadiy Dushatskiy, Tanja Alderliesten, Peter A. N. Bosman
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は最近、大きな関心事のトピックになっている。 NASには、ほとんど認識されていないノイズという、潜在的に影響のある問題がある。 本稿では、複数のネットワークトレーニング実行におけるスコアの平均化をアーキテクチャ評価することで、ノイズを低減することを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) has recently become a topic of great interest. However, there is a potentially impactful issue within NAS that remains largely unrecognized: noise. Due to stochastic factors in neural network initialization, training, and the chosen train/validation dataset split, the performance evaluation of a neural network architecture, which is often based on a single learning run, is also stochastic. This may have a particularly large impact if a dataset is small. We therefore propose to reduce the noise by having architecture evaluations comprise averaging of scores over multiple network training runs using different random seeds and cross-validation. We perform experiments for a combinatorial optimization formulation of NAS in which we vary noise reduction levels. We use the same computational budget for each noise level in terms of network training runs, i.e., we allow less architecture evaluations when averaging over more training runs. Multiple search algorithms are considered, including evolutionary algorithms which generally perform well for NAS. We use two publicly available datasets from the medical image segmentation domain where datasets are often limited and variability among samples is often high. Our results show that reducing noise in architecture evaluations enables finding better architectures by all considered search algorithms.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は最近、大きな関心事のトピックになっている。 しかし、NASには大きな影響がある可能性があり、ほとんど認識されていない:ノイズである。 ニューラルネットワークの初期化、トレーニング、選択されたトレイン/バリデーションデータセットの分割といった確率的要因のため、ニューラルネットワークアーキテクチャのパフォーマンス評価は、1つの学習実行に基づいて行われることが多い。 これはデータセットが小さい場合、特に大きな影響を与える可能性がある。 そこで本研究では,ランダムシードとクロスバリデーションの異なる複数のネットワークトレーニング実行におけるスコア平均化をアーキテクチャ評価で評価することにより,ノイズを低減することを提案する。 我々は,雑音低減レベルを変化させたnasの組合せ最適化定式化のための実験を行う。 私たちは、ネットワークトレーニングの実行において、各ノイズレベルに対して同じ計算予算を使用します。 進化的アルゴリズムを含む複数の検索アルゴリズムが検討されており、一般にnasでよく機能する。 医療画像セグメンテーションドメインの2つの公開データセットを使用しており、その領域ではデータセットが制限され、サンプル間のバラエティが高くなることが多い。 その結果,アーキテクチャ評価におけるノイズ低減は,すべての検索アルゴリズムによるより良いアーキテクチャの探索を可能にすることがわかった。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Multi-objective Neural Architecture Search with Almost No Training [9.93048700248444]
  本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
  論文  参考訳（メタデータ） (2020-11-27T07:39:17Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing [12.02718579660613]
  我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。 テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。 我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
  論文  参考訳（メタデータ） (2020-06-12T12:19:06Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Exploring the Loss Landscape in Neural Architecture Search [15.830099254570959]
  最も単純なヒルクライミングアルゴリズムはNASの強力なベースラインであることを示す。 また,雑音の減少に伴って局所最小値が大幅に減少することを示す。
  論文  参考訳（メタデータ） (2020-05-06T17:09:16Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。