論文の概要: How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor

• arxiv url: http://arxiv.org/abs/2311.18451v1
• Date: Thu, 30 Nov 2023 10:51:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 16:53:50.900556
• Title: How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor
• Title（参考訳）: NASベンチマークにどのくらい隠されているか? NAS予測器のFew-Shot適応
• Authors: Hrushikesh Loya, {\L}ukasz Dudziak, Abhinav Mehrotra, Royson Lee, Javier Fernandez-Marques, Nicholas D. Lane, Hongkai Wen
• Abstract要約: 我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。 我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
• 参考スコア（独自算出の注目度）: 22.87207410692821
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural architecture search has proven to be a powerful approach to designing and refining neural networks, often boosting their performance and efficiency over manually-designed variations, but comes with computational overhead. While there has been a considerable amount of research focused on lowering the cost of NAS for mainstream tasks, such as image classification, a lot of those improvements stem from the fact that those tasks are well-studied in the broader context. Consequently, applicability of NAS to emerging and under-represented domains is still associated with a relatively high cost and/or uncertainty about the achievable gains. To address this issue, we turn our focus towards the recent growth of publicly available NAS benchmarks in an attempt to extract general NAS knowledge, transferable across different tasks and search spaces. We borrow from the rich field of meta-learning for few-shot adaptation and carefully study applicability of those methods to NAS, with a special focus on the relationship between task-level correlation (domain shift) and predictor transferability; which we deem critical for improving NAS on diverse tasks. In our experiments, we use 6 NAS benchmarks in conjunction, spanning in total 16 NAS settings -- our meta-learning approach not only shows superior (or matching) performance in the cross-validation experiments but also successful extrapolation to a new search space and tasks.
• Abstract（参考訳）: ニューラルネットワークの設計と精細化において、ニューラルネットワーク検索は強力なアプローチであることが証明されており、手作業で設計したバリエーションよりもパフォーマンスと効率を高めることが多いが、計算オーバーヘッドも伴っている。 画像分類などのメインストリームタスクに対するNASのコスト削減に重点を置く研究が数多く行われているが、これらの改善の多くは、これらのタスクがより広い文脈で十分に研究されていることに由来する。 その結果,NASの適用性は,比較的高いコストと達成可能な利得の不確実性に関連付けられている。 この問題に対処するため、我々は、さまざまなタスクや検索空間にまたがる一般的なNAS知識を抽出するために、最近公開されているNASベンチマークの増大に焦点をあてる。 我々はメタラーニングの豊富な分野から借用し、これらの手法のNASへの適用性を慎重に研究し、特にタスクレベルの相関(ドメインシフト)と予測器の伝達可能性の関係に注目し、多様なタスクにおけるNASの改善に欠かせないと考えている。 実験では6つのNASベンチマークを併用し、合計16個のNAS設定にまたがる。私たちのメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)パフォーマンスを示すだけでなく、新しい検索スペースとタスクの補間に成功したのです。

関連論文リスト

• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• Meta-prediction Model for Distillation-Aware NAS on Unseen Datasets [55.2118691522524]
  Distillation-Aware Neural Architecture Search (DaNAS) は、最適な学生アーキテクチャを探すことを目的としている。 本稿では,あるアーキテクチャの最終的な性能をデータセット上で予測できる,蒸留対応のメタ精度予測モデルDaSSを提案する。
  論文  参考訳（メタデータ） (2023-05-26T14:00:35Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• A Survey on Surrogate-assisted Efficient Neural Architecture Search [18.914781707473296]
  ニューラルアーキテクチャサーチ(NAS)は近年,ディープラーニングコミュニティで人気が高まっている。 NASは、NASの探索過程において大量の性能推定を必要とするため、依然として手間と時間を要する。 NASの大きな限界を解決するためには、NASの設計においてNASの効率を向上させることが不可欠である。
  論文  参考訳（メタデータ） (2022-06-03T12:02:20Z)
• NAS-Bench-Suite: NAS Evaluation is (Now) Surprisingly Easy [37.72015163462501]
  本稿では,一般的なNASアルゴリズムの詳細な解析と,検索空間とデータセットの25種類の組み合わせによる性能予測手法を提案する。 我々はNASベンチマークの包括的なコレクションであるNAS-Bench-Suiteを紹介する。
  論文  参考訳（メタデータ） (2022-01-31T18:02:09Z)
• NAS-Bench-360: Benchmarking Diverse Tasks for Neural Architecture Search [18.9676056830197]
  既存のニューラルアーキテクチャサーチ(NAS)ベンチマークとアルゴリズムは、よく研究されたタスクのパフォーマンスを優先している。 我々は、畳み込みニューラルネットワーク(CNN)のための最先端NAS手法を評価するベンチマークスイートであるNAS-Bench-360を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:13:18Z)
• TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search [98.22779489340869]
  本研究では、7つの視覚タスクにわたるネットワーク性能を含むベンチマークデータセットであるTransNAS-Bench-101を提案する。 セルレベルの検索空間とマクロレベルの検索空間という,基本的に異なるタイプの検索空間を探索する。 7つのタスクで7,352のバックボーンが評価され、詳細なトレーニング情報を備えた51,464のトレーニングモデルが提供される。
  論文  参考訳（メタデータ） (2021-05-25T12:15:21Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• NAS-FAS: Static-Dynamic Central Difference Network Search for Face Anti-Spoofing [94.89405915373857]
  対面防止(FAS)は、顔認識システムを保護する上で重要な役割を担っている。 既存の手法は専門家が設計したネットワークに依存しており、タスクFASのサブ最適化ソリューションにつながる可能性がある。 本稿では,ニューラルサーチ(NAS)に基づく最初のFAS手法であるFAS-FASを提案する。
  論文  参考訳（メタデータ） (2020-11-03T23:34:40Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。