論文の概要: Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2201.09785v1
• Date: Mon, 24 Jan 2022 16:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 14:37:31.510549
• Title: Unifying and Boosting Gradient-Based Training-Free Neural Architecture Search
• Title（参考訳）: 勾配に基づくトレーニングフリーニューラルネットワーク検索の統一化と強化
• Authors: Yao Shu, Zhongxiang Dai, Zhaoxuan Wu, Bryan Kian Hsiang Low
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)は、ニューラルアーキテクチャ設計を自動化する能力により、大きな人気を集めている。 トレーニングなしのメトリクスは、最近、トレーニングなしでNASを実現するために提案されているため、NASをよりスケーラブルにする。 競争力のある経験的パフォーマンスにもかかわらず、これらのトレーニングフリーメトリクスの統一的な理論的理解は欠如している。
• 参考スコア（独自算出の注目度）: 30.986396610873626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) has gained immense popularity owing to its ability to automate neural architecture design. A number of training-free metrics are recently proposed to realize NAS without training, hence making NAS more scalable. Despite their competitive empirical performances, a unified theoretical understanding of these training-free metrics is lacking. As a consequence, (a) the relationships among these metrics are unclear, (b) there is no theoretical guarantee for their empirical performances and transferability, and (c) there may exist untapped potential in training-free NAS, which can be unveiled through a unified theoretical understanding. To this end, this paper presents a unified theoretical analysis of gradient-based training-free NAS, which allows us to (a) theoretically study their relationships, (b) theoretically guarantee their generalization performances and transferability, and (c) exploit our unified theoretical understanding to develop a novel framework named hybrid NAS (HNAS) which consistently boosts training-free NAS in a principled way. Interestingly, HNAS is able to enjoy the advantages of both training-free (i.e., superior search efficiency) and training-based (i.e., remarkable search effectiveness) NAS, which we have demonstrated through extensive experiments.
• Abstract（参考訳）: neural architecture search (nas) は、ニューラルアーキテクチャ設計を自動化する能力によって、大きな人気を集めている。 トレーニングなしのメトリクスは、最近、トレーニングなしでNASを実現するために提案されているため、NASをよりスケーラブルにする。 競争力のある経験的パフォーマンスにもかかわらず、これらのトレーニングフリーメトリクスの統一的な理論的理解は欠如している。 その結果である。 (a)これらの指標間の関係は不明確である。 (b)その経験的性能及び移動可能性に関する理論的保証がない。 c) トレーニングフリーなnasには、統一的な理論的理解を通じて明らかにできる未解決のポテンシャルが存在する可能性がある。 そこで本稿では,グラデーションベース無トレーニングnasの統一的理論解析について述べる。 a)理論的に彼らの関係を研究する b) 理論的にそれらの一般化性能と伝達性を保証すること、 (c) 統一的な理論的理解を活用して、原則的にトレーニングフリーNASを継続的に促進するハイブリッドNAS(HNAS)と呼ばれる新しいフレームワークを開発する。 興味深いことに、HNASはトレーニングフリー(検索効率が優れている)とトレーニングベース(目覚しい検索効率)の2つの利点を享受できる。

関連論文リスト

• Robust NAS under adversarial training: benchmark, theory, and beyond [55.51199265630444]
  我々は、多数の敵に訓練されたネットワークに対して、クリーンな精度とロバストな精度の両方を含む包括的データセットをリリースする。 また,多目的対人訓練において,クリーンな精度とロバストな精度で探索アーキテクチャを一般化する理論を確立した。
  論文  参考訳（メタデータ） (2024-03-19T20:10:23Z)
• Robustifying and Boosting Training-Free Neural Architecture Search [49.828875134088904]
  本稿では,多種多様なタスクにおいて,頑健で一貫したパフォーマンスの指標を開発するために,トレーニング不要なNAS (RoBoT) アルゴリズムを提案する。 注目すべきは、我々のRoBoTの期待性能が理論的に保証され、既存のトレーニングフリーNASよりも改善されることだ。
  論文  参考訳（メタデータ） (2024-03-12T12:24:11Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Understanding and Accelerating Neural Architecture Search with Training-Free and Theory-Grounded Metrics [117.4281417428145]
  この作業は、ニューラルネットワークサーチ(NAS)のための原則的で統一的なトレーニングフリーフレームワークの設計を目標としている。 NASは、高性能ニューラルネットワークの発見を自動化するために爆発的に研究されてきたが、資源消費に悩まされ、しばしば訓練や近似によって探索バイアスを引き起こす。 我々は,検索ネットワークの「TEG」特性を解消し,NASを理解し,加速するための統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-26T17:52:07Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。