論文の概要: Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS

• arxiv url: http://arxiv.org/abs/2206.05896v1
• Date: Mon, 13 Jun 2022 04:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 15:27:50.451820
• Title: Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS
• Title（参考訳）: ワンショットNASからFew-shot NASへのトレーニングスキームによるスーパーネットのランク付け相関の改善
• Authors: Jiawei Liu, Kaiyu Zhang, Weitai Hu and Qing Yang
• Abstract要約: ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 CVPR2022 Lightweight NAS Challenge Track 1では4位にランクインした。
• 参考スコア（独自算出の注目度）: 13.390484379343908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The algorithms of one-shot neural architecture search (NAS) have been widely used to reduce the computation. However, because of the interference among the subnets which weights are shared, the subnets inherited from these super-net trained by those algorithms have poor consistency in precision ranking. To address this problem, we propose a step-by-step training super-net scheme from one-shot NAS to few-shot NAS. In the training scheme, we training super-net by the one-shot way firstly, and then we disentangles the weights of super-net by splitting that to multi-subnets and training them gradually. Finally, our method ranks 4th place in the CVPR2022 Lightweight NAS Challenge Track1. Our code is available at https://github.com/liujiawei2333/CVPR2022-NAScompetition-Track-1-4th-solution.
• Abstract（参考訳）: one-shot neural architecture search (nas) のアルゴリズムは計算量を減らすために広く使われている。 しかし、重みが共有されるサブネット間の干渉のため、これらのアルゴリズムによって訓練されたスーパーネットから継承されたサブネットは、精度ランキングの一貫性に乏しい。 この問題に対処するために,ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 トレーニングスキームでは,まずワンショット方式でスーパーネットをトレーニングし,それをマルチサブネットに分割して徐々にトレーニングすることで,スーパーネットの重みを解消する。 最後に,本手法はcvpr2022軽量nasチャレンジトラック1で4位である。 私たちのコードはhttps://github.com/liujiawei2333/cvpr2022-nascompetition-track-1-4th-solutionで利用可能です。

関連論文リスト

• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies [20.076610051602618]
  ランキングの整合性を高めるために、ランキング蒸留ワンショットNAS(RD-NAS)を提案する。 NAS-Bench-201とResNetベースの検索空間の評価は、RD-NASが10.7%と9.65%の改善を達成していることを示している。
  論文  参考訳（メタデータ） (2023-01-24T07:49:04Z)
• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets [52.983810997539486]
  我々は、$K$-shotスーパーネットを導入し、各操作の重みを辞書として取り込む。 textitsimplex-netを導入し、各パスに対してアーキテクチャにカスタマイズされたコードを生成する。 ベンチマークデータセットの実験では、KショットNASがパスの評価精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T14:57:36Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Neural Architecture Search with Random Labels [16.18010700582234]
  ランダムラベル(RLNAS)を用いたニューラルアーキテクチャサーチ(NAS)パラダイムの新しい変種について検討する。 RLNASは、PC-DARTSやSingle Path One-Shotのような最先端のNAS手法と比較すると、同等またはそれ以上の結果が得られる。
  論文  参考訳（メタデータ） (2021-01-28T06:41:48Z)
• Few-shot Neural Architecture Search [35.28010196935195]
  サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて、検索空間の異なる領域をカバーし、望ましくないコ・アダプションを緩和する数ショットNASを提案する。 ImageNetでは、600MB FLOPSで80.5%、238 MFLOPSで77.5%のTop-1精度に達するモデルが見つかる。
  論文  参考訳（メタデータ） (2020-06-11T22:36:01Z)
• GreedyNAS: Towards Fast One-Shot NAS with Greedy Supernet [63.96959854429752]
  GreedyNASは簡単に追跡でき、ImageNetデータセットの実験結果から、同じ検索空間とFLOPまたはレイテンシレベルにおいて、Top-1の精度が向上することが示された。 より大きなスペースを探索することで、GreedyNASは新たな最先端アーキテクチャも取得できます。
  論文  参考訳（メタデータ） (2020-03-25T06:54:10Z)
• DSNAS: Direct Neural Architecture Search without Parameter Retraining [112.02966105995641]
  この観測に基づいて,タスク固有のエンドツーエンドであるNASの新たな問題定義を提案する。 低バイアスモンテカルロ推定でアーキテクチャとパラメータを同時に最適化する効率的な微分可能なNASフレームワークであるDSNASを提案する。 DSNASは、420GPU時間でImageNetで同等の精度(74.4%)のネットワークを発見し、総時間を34%以上削減した。
  論文  参考訳（メタデータ） (2020-02-21T04:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。