論文の概要: K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets

• arxiv url: http://arxiv.org/abs/2106.06442v1
• Date: Fri, 11 Jun 2021 14:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-14 14:26:08.838164
• Title: K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets
• Title（参考訳）: k-shot nas:k-shot supernetsによるnasの学習可能なウェイトシェアリング
• Authors: Xiu Su, Shan You, Mingkai Zheng, Fei Wang, Chen Qian, Changshui Zhang, Chang Xu
• Abstract要約: 我々は、$K$-shotスーパーネットを導入し、各操作の重みを辞書として取り込む。 textitsimplex-netを導入し、各パスに対してアーキテクチャにカスタマイズされたコードを生成する。 ベンチマークデータセットの実験では、KショットNASがパスの評価精度を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 52.983810997539486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In one-shot weight sharing for NAS, the weights of each operation (at each layer) are supposed to be identical for all architectures (paths) in the supernet. However, this rules out the possibility of adjusting operation weights to cater for different paths, which limits the reliability of the evaluation results. In this paper, instead of counting on a single supernet, we introduce $K$-shot supernets and take their weights for each operation as a dictionary. The operation weight for each path is represented as a convex combination of items in a dictionary with a simplex code. This enables a matrix approximation of the stand-alone weight matrix with a higher rank ($K>1$). A \textit{simplex-net} is introduced to produce architecture-customized code for each path. As a result, all paths can adaptively learn how to share weights in the $K$-shot supernets and acquire corresponding weights for better evaluation. $K$-shot supernets and simplex-net can be iteratively trained, and we further extend the search to the channel dimension. Extensive experiments on benchmark datasets validate that K-shot NAS significantly improves the evaluation accuracy of paths and thus brings in impressive performance improvements.
• Abstract（参考訳）: NASの1ショットの重み共有では、各操作(各層における)の重みは、スーパーネット内のすべてのアーキテクチャ(パス)と同一である。 しかし、これは異なる経路に対応するために操作重みを調整する可能性を排除し、評価結果の信頼性を制限している。 本稿では,1つのスーパーネットを数える代わりに,k$-shotスーパーネットを導入し,各操作の重みを辞書として取り上げる。 各パスの操作重みは、辞書内の項目とsimplexコードとの凸結合として表現される。 これにより、より高いランク(K>1$)のスタンドアローン重み行列の行列近似が可能になる。 各パスに対してアーキテクチャカスタマイズされたコードを生成するために、 \textit{simplex-net}が導入される。 その結果、全ての経路は、$K$-shotスーパーネットで重みを共有する方法を適応的に学習し、それに対応する重みを取得することでより良い評価を行うことができる。 k$-shotスーパーネットとsimplex-netは反復的に訓練することができ、さらに探索をチャンネル次元にまで拡張する。 ベンチマークデータセットの大規模な実験により、KショットNASはパスの評価精度を大幅に改善し、性能が著しく向上することが示された。

関連論文リスト

• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• How Does Supernet Help in Neural Architecture Search? [3.8348281160758027]
  我々は,NAS-Bench-101,NAS-Bench-201,DARTS-CIFAR10,DARTS-PTB,ProxylessNASの5つの探索空間を包括的に解析する。 ウェイトシェアリングはいくつかの検索スペースでうまく機能するが、他の検索スペースでは失敗する。 我々の研究は、将来のNAS研究者に、重量共有のパワーをより活用するよう促すことが期待されている。
  論文  参考訳（メタデータ） (2020-10-16T08:07:03Z)
• GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
  GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。 より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
  論文  参考訳（メタデータ） (2020-03-25T06:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。