論文の概要: Robustifying and Boosting Training-Free Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2403.07591v1
• Date: Tue, 12 Mar 2024 12:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:33:33.737154
• Title: Robustifying and Boosting Training-Free Neural Architecture Search
• Title（参考訳）: トレーニング不要なニューラルアーキテクチャ検索のロバスト化と強化
• Authors: Zhenfeng He, Yao Shu, Zhongxiang Dai, Bryan Kian Hsiang Low
• Abstract要約: 本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
• 参考スコア（独自算出の注目度）: 49.828875134088904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has become a key component of AutoML and a standard tool to automate the design of deep neural networks. Recently, training-free NAS as an emerging paradigm has successfully reduced the search costs of standard training-based NAS by estimating the true architecture performance with only training-free metrics. Nevertheless, the estimation ability of these metrics typically varies across different tasks, making it challenging to achieve robust and consistently good search performance on diverse tasks with only a single training-free metric. Meanwhile, the estimation gap between training-free metrics and the true architecture performances limits training-free NAS to achieve superior performance. To address these challenges, we propose the robustifying and boosting training-free NAS (RoBoT) algorithm which (a) employs the optimized combination of existing training-free metrics explored from Bayesian optimization to develop a robust and consistently better-performing metric on diverse tasks, and (b) applies greedy search, i.e., the exploitation, on the newly developed metric to bridge the aforementioned gap and consequently to boost the search performance of standard training-free NAS further. Remarkably, the expected performance of our RoBoT can be theoretically guaranteed, which improves over the existing training-free NAS under mild conditions with additional interesting insights. Our extensive experiments on various NAS benchmark tasks yield substantial empirical evidence to support our theoretical results.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)はAutoMLの重要なコンポーネントとなり、ディープニューラルネットワークの設計を自動化する標準ツールとなった。 新たなパラダイムとしてのトレーニングフリーnasは、トレーニングフリーメトリクスだけで真のアーキテクチャパフォーマンスを推定することで、標準トレーニングベースのnasの検索コストを削減した。 しかしながら、これらの指標の推定能力は、通常、異なるタスクによって異なるため、単一のトレーニングフリーメトリックだけで、様々なタスクにおいて堅牢で一貫した優れた検索性能を達成することは困難である。 一方、トレーニングフリーのメトリクスと真のアーキテクチャのパフォーマンスの間の推定ギャップは、トレーニングフリーのnasを制限し、優れたパフォーマンスを達成する。 これらの課題に対処するために、トレーニングフリーNAS(RoBoT)アルゴリズムの強化と強化を提案する。 (a)ベイズ最適化から探索された既存のトレーニングフリーメトリクスの最適化組み合わせを用いて、多様なタスクにおける堅牢で一貫したパフォーマンスの指標を開発し、 (b)上記のギャップを橋渡しし、標準のトレーニングフリーなnasの探索性能をさらに高めるために、新たに開発されたメトリクスに欲深い探索、すなわち搾取を適用する。 興味深いことに、我々のRoBoTの期待性能は理論上保証され、より興味深い洞察を得られる穏やかな条件下で、既存のトレーニングフリーNASよりも向上します。 様々なnasベンチマークタスクに関する広範な実験は、理論的な結果をサポートする実証的な証拠をもたらします。

関連論文リスト

• Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
  我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。 また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
  論文  参考訳（メタデータ） (2024-03-19T20:10:23Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Towards Self-supervised and Weight-preserving Neural Architecture Search [38.497608743382145]
  本研究では,現在のNASフレームワークの拡張として,自己教師付き重み保存型ニューラルネットワーク探索(SSWP-NAS)を提案する。 CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, 提案したフレームワークによって探索されたアーキテクチャが, 最先端の精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-06-08T18:48:05Z)
• Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search [30.986396610873626]
  ニューラルアーキテクチャサーチ(NAS)は、ニューラルアーキテクチャ設計を自動化する能力により、大きな人気を集めている。 トレーニングなしのメトリクスは、最近、トレーニングなしでNASを実現するために提案されているため、NASをよりスケーラブルにする。 競争力のある経験的パフォーマンスにもかかわらず、これらのトレーニングフリーメトリクスの統一的な理論的理解は欠如している。
  論文  参考訳（メタデータ） (2022-01-24T16:26:11Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Speedy Performance Estimation for Neural Architecture Search [47.683124540824515]
  そこで本研究では,トレーニング速度の簡易な測定値に基づいて最終試験性能を推定する。 我々の推定器は、一般化と学習速度の関連によって理論的に動機付けられている。
  論文  参考訳（メタデータ） (2020-06-08T11:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。