論文の概要: Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions

• arxiv url: http://arxiv.org/abs/2412.14678v1
• Date: Thu, 19 Dec 2024 09:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:31:20.391209
• Title: Efficient Few-Shot Neural Architecture Search by Counting the Number of Nonlinear Functions
• Title（参考訳）: 非線形関数数計数による効率的なFew-Shotニューラルアーキテクチャ探索
• Authors: Youngmin Oh, Hyunju Lee, Bumsub Ham,
• Abstract要約: 探索空間を分割するために非線形関数の数を利用する新しい数ショットNAS法を提案する。 空間を分割するためにスーパーネットの勾配を比較する必要はないため,本手法は効率的である。 さらに、空間を分割することで、各スーパーネットに必要なチャネル次元を削減できることがわかった。
• 参考スコア（独自算出の注目度）: 29.76210308781724
• License:
• Abstract: Neural architecture search (NAS) enables finding the best-performing architecture from a search space automatically. Most NAS methods exploit an over-parameterized network (i.e., a supernet) containing all possible architectures (i.e., subnets) in the search space. However, the subnets that share the same set of parameters are likely to have different characteristics, interfering with each other during training. To address this, few-shot NAS methods have been proposed that divide the space into a few subspaces and employ a separate supernet for each subspace to limit the extent of weight sharing. They achieve state-of-the-art performance, but the computational cost increases accordingly. We introduce in this paper a novel few-shot NAS method that exploits the number of nonlinear functions to split the search space. To be specific, our method divides the space such that each subspace consists of subnets with the same number of nonlinear functions. Our splitting criterion is efficient, since it does not require comparing gradients of a supernet to split the space. In addition, we have found that dividing the space allows us to reduce the channel dimensions required for each supernet, which enables training multiple supernets in an efficient manner. We also introduce a supernet-balanced sampling (SBS) technique, sampling several subnets at each training step, to train different supernets evenly within a limited number of training steps. Extensive experiments on standard NAS benchmarks demonstrate the effectiveness of our approach. Our code is available at https://cvlab.yonsei.ac.kr/projects/EFS-NAS.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、検索空間から最高の性能のアーキテクチャを自動的に見つけることができる。 ほとんどのNAS手法は、探索空間内の全ての可能なアーキテクチャ(サブネット)を含む過パラメータネットワーク(スーパーネット)を利用する。 しかし、同じパラメータのセットを共有するサブネットは異なる特性を持ち、トレーニング中に相互に干渉する可能性がある。 これを解決するために、空間をいくつかの部分空間に分割し、各部分空間に別々のスーパーネットを用いて重量共有の幅を制限する、数発のNAS法が提案されている。 それらは最先端の性能を達成するが、計算コストは増大する。 本稿では,探索空間を分割する非線形関数の数を利用した数ショットNAS法を提案する。 具体的には、各部分空間が同じ数の非線形関数を持つ部分ネットからなるような空間を分割する。 我々の分割基準は、空間を分割するためにスーパーネットの勾配を比較する必要がないため、効率的である。 さらに,空間分割により,各スーパーネットに必要なチャネル次元を削減でき,複数のスーパーネットを効率的にトレーニングできることがわかった。 また、トレーニングステップ毎に複数のサブネットをサンプリングし、トレーニングステップの限られた範囲内で異なるスーパーネットを均等にトレーニングする、スーパーネットバランスサンプリング(SBS)手法も導入する。 標準NASベンチマークの大規模な実験は、我々のアプローチの有効性を実証している。 私たちのコードはhttps://cvlab.yonsei.ac.kr/projects/EFS-NASで利用可能です。

関連論文リスト

• HEP-NAS: Towards Efficient Few-shot Neural Architecture Search via Hierarchical Edge Partitioning [8.484729345263153]
  ワンショット手法は、探索コストを削減するために重み付け戦略を採用することにより、ニューラルネットワーク探索(NAS)の分野を進歩させた。 この問題を緩和するために、エッジをエッジごとに分割することで、スーパーネット全体を個々のサブスーパーネットに分割する手法はほとんどない。 本研究では,HEP-NASという階層分割アルゴリズムを導入し,精度の向上を図る。
  論文  参考訳（メタデータ） (2024-12-14T07:42:56Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension [37.04463309816036]
  ワンショットアーキテクチャサーチ (NAS) は、1つのスーパーネットをトレーニングして全ての子アーキテクチャーを推定することにより、探索効率を大幅に向上させる。 NASBench-201の実験は、NAS-LIDが優れた効率で優れた性能を発揮することを示している。
  論文  参考訳（メタデータ） (2022-11-23T08:08:17Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS [13.390484379343908]
  ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 トレーニングスキームでは,まず1ショットでスーパーネットを訓練し,次にスーパーネットの重みを解体する。 CVPR20223th Lightweight NAS Challenge Track1では4位にランクインした。
  論文  参考訳（メタデータ） (2022-06-13T04:02:12Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
  GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。 より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
  論文  参考訳（メタデータ） (2020-03-25T06:54:10Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。