論文の概要: Improving Ranking Correlation of Supernet with Candidates Enhancement and Progressive Training

• arxiv url: http://arxiv.org/abs/2108.05866v1
• Date: Thu, 12 Aug 2021 17:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-13 14:30:43.292109
• Title: Improving Ranking Correlation of Supernet with Candidates Enhancement and Progressive Training
• Title（参考訳）: 候補強化とプログレッシブトレーニングによるスーパーネットのランク付け相関の改善
• Authors: Ziwei Yang, Ruyi Zhang, Zhi Yang, Xubo Yang, Lei Wang and Zheyang Li
• Abstract要約: ワンショットニューラルアーキテクチャサーチ(NAS)は、自動アーキテクチャ設計の計算オーバーヘッドを軽減するために、ウェイトシェアリングスーパーネットを適用している。 スーパーネットのランキング相関を改善するために,提案手法とプログレッシブトレーニングパイプラインを提案する。 CVPR 2021 1st Lightweight NAS Challengeの1位にランクインした。
• 参考スコア（独自算出の注目度）: 8.373420721376739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot neural architecture search (NAS) applies weight-sharing supernet to reduce the unaffordable computation overhead of automated architecture designing. However, the weight-sharing technique worsens the ranking consistency of performance due to the interferences between different candidate networks. To address this issue, we propose a candidates enhancement method and progressive training pipeline to improve the ranking correlation of supernet. Specifically, we carefully redesign the sub-networks in the supernet and map the original supernet to a new one of high capacity. In addition, we gradually add narrow branches of supernet to reduce the degree of weight sharing which effectively alleviates the mutual interference between sub-networks. Finally, our method ranks the 1st place in the Supernet Track of CVPR2021 1st Lightweight NAS Challenge.
• Abstract（参考訳）: ワンショットニューラルアーキテクチャサーチ(NAS)は、自動アーキテクチャ設計の計算オーバーヘッドを軽減するために、ウェイトシェアリングスーパーネットを適用している。 しかし、ウェイトシェアリング技術は、異なる候補ネットワーク間の干渉による性能のランキング一貫性を悪化させる。 そこで本研究では,スーパーネットのランキング相関性を改善するための候補強化法とプログレッシブトレーニングパイプラインを提案する。 具体的には、スーパーネットのサブネットワークを慎重に再設計し、元のスーパーネットを高容量の新しいネットワークにマッピングする。 さらに,サブネットワーク間の相互干渉を効果的に緩和する重み共有の程度を低減するため,スーパーネットの細分枝を徐々に追加する。 最後に,本手法はCVPR2021 1st Lightweight NAS Challengeのスーパーネットトラックにおける第1位にランク付けする。

関連論文リスト

• Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach [57.175488207316654]
  本稿では,アーキテクチャ探索とスーパーネットファインチューニングを組み合わせた検索手法であるSupernet Shiftingを提案する。 我々は、Supernet Shiftingが新しいデータセットにスーパーネットを転送できることを示す。 総合的な実験により,本手法の順序保存能力は向上し,支配的アーキテクチャを見出すことができた。
  論文  参考訳（メタデータ） (2024-03-18T00:13:41Z)
• Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
  提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。 これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
  論文  参考訳（メタデータ） (2023-12-03T04:20:02Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot NAS [19.485514022334844]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、その効率性からアーキテクチャを発見するために広く利用されている。 以前の研究では、アーキテクチャのワンショットのパフォーマンス推定が、スタンドアローンのトレーニングにおけるパフォーマンスと十分に相関していないことが判明した。 本稿では,スーパーネットを効果的かつ効果的にトレーニングするために,CLOSE(Curriculum Learning On Sharing Extent)を提案する。
  論文  参考訳（メタデータ） (2022-07-16T07:45:17Z)
• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS [13.390484379343908]
  ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 トレーニングスキームでは,まず1ショットでスーパーネットを訓練し,次にスーパーネットの重みを解体する。 CVPR20223th Lightweight NAS Challenge Track1では4位にランクインした。
  論文  参考訳（メタデータ） (2022-06-13T04:02:12Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• AlphaNet: Improved Training of Supernet with Alpha-Divergence [28.171262066145616]
  より汎用的なアルファダイバージェンスでスーパーネットトレーニングを改善することを提案する。 提案するアルファディバージェンスに基づくスーパーネットトレーニングを,スリムブルニューラルネットワークと重み共有NASの両方に適用する。 特に、発見されたモデルファミリーであるAlphaNetは、幅広いFLOPシステムにおいて、先行技術モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-02-16T04:23:55Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。