論文の概要: CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot NAS

• arxiv url: http://arxiv.org/abs/2207.07868v1
• Date: Sat, 16 Jul 2022 07:45:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 16:45:59.905301
• Title: CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot NAS
• Title（参考訳）: CLOSE: より優れたワンショットNASに向けた共有活動に関するカリキュラム学習
• Authors: Zixuan Zhou and Xuefei Ning and Yi Cai and Jiashu Han and Yiping Deng and Yuhan Dong and Huazhong Yang and Yu Wang
• Abstract要約: ワンショットニューラルアーキテクチャサーチ(NAS)は、その効率性からアーキテクチャを発見するために広く利用されている。 以前の研究では、アーキテクチャのワンショットのパフォーマンス推定が、スタンドアローンのトレーニングにおけるパフォーマンスと十分に相関していないことが判明した。 本稿では,スーパーネットを効果的かつ効果的にトレーニングするために,CLOSE(Curriculum Learning On Sharing Extent)を提案する。
• 参考スコア（独自算出の注目度）: 19.485514022334844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-shot Neural Architecture Search (NAS) has been widely used to discover architectures due to its efficiency. However, previous studies reveal that one-shot performance estimations of architectures might not be well correlated with their performances in stand-alone training because of the excessive sharing of operation parameters (i.e., large sharing extent) between architectures. Thus, recent methods construct even more over-parameterized supernets to reduce the sharing extent. But these improved methods introduce a large number of extra parameters and thus cause an undesirable trade-off between the training costs and the ranking quality. To alleviate the above issues, we propose to apply Curriculum Learning On Sharing Extent (CLOSE) to train the supernet both efficiently and effectively. Specifically, we train the supernet with a large sharing extent (an easier curriculum) at the beginning and gradually decrease the sharing extent of the supernet (a harder curriculum). To support this training strategy, we design a novel supernet (CLOSENet) that decouples the parameters from operations to realize a flexible sharing scheme and adjustable sharing extent. Extensive experiments demonstrate that CLOSE can obtain a better ranking quality across different computational budget constraints than other one-shot supernets, and is able to discover superior architectures when combined with various search strategies. Code is available at https://github.com/walkerning/aw_nas.
• Abstract（参考訳）: ワンショットニューラルアーキテクチャサーチ(NAS)は、その効率性からアーキテクチャを発見するために広く利用されている。 しかし、以前の研究では、アーキテクチャ間の操作パラメータ(すなわち大きな共有範囲)の過度な共有のため、アーキテクチャのワンショットパフォーマンス推定とスタンドアロントレーニングのパフォーマンスとの相関が不十分であることが分かった。 このように、最近の手法は共有範囲を減らすために、さらに過パラメータ化されたスーパーネットを構築している。 しかし、これらの改良された手法は、多くの追加パラメータを導入し、トレーニングコストとランキング品質の間の望ましくないトレードオフを引き起こす。 上記の問題を緩和するために,スーパーネットを効果的かつ効果的にトレーニングするためにCLOSE(Curriculum Learning On Sharing Extent)を適用することを提案する。 具体的には、まず、スーパーネットの共有範囲を広く(簡単なカリキュラム)訓練し、スーパーネットの共有範囲を徐々に減少させる(より難しいカリキュラム)。 このトレーニング戦略を支援するために,パラメータを操作から切り離してフレキシブルな共有方式と調整可能な共有範囲を実現する新しいスーパーネット(CLOSENet)を設計する。 大規模な実験により、CLOSEは他のワンショットのスーパーネットよりも計算予算の制約によって優れたランク付け品質が得られることが示され、様々な検索戦略と組み合わせることで優れたアーキテクチャを発見することができる。 コードはhttps://github.com/walkerning/aw_nasで入手できる。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• Boosting Order-Preserving and Transferability for Neural Architecture Search: a Joint Architecture Refined Search and Fine-tuning Approach [57.175488207316654]
  本稿では,アーキテクチャ探索とスーパーネットファインチューニングを組み合わせた検索手法であるSupernet Shiftingを提案する。 我々は、Supernet Shiftingが新しいデータセットにスーパーネットを転送できることを示す。 総合的な実験により,本手法の順序保存能力は向上し,支配的アーキテクチャを見出すことができた。
  論文  参考訳（メタデータ） (2024-03-18T00:13:41Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• Improving Differentiable Architecture Search via Self-Distillation [20.596850268316565]
  微分可能アーキテクチャサーチ(DARTS)は、単純だが効率的なニューラルアーキテクチャサーチ(NAS)手法である。 本稿では,自己拡散微分可能なニューラルアーキテクチャ探索(SD-DARTS)を提案する。
  論文  参考訳（メタデータ） (2023-02-11T08:58:55Z)
• Prior-Guided One-shot Neural Architecture Search [11.609732776776982]
  我々は、スーパーネットのランキング相関を強化するために、プリエントガイドワンショットNAS(PGONAS)を提案する。 我々のPGONASはCVPR2022のスーパーネットトラックの3位にランクインしている。
  論文  参考訳（メタデータ） (2022-06-27T14:19:56Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• How to Train Your Super-Net: An Analysis of Training Heuristics in Weight-Sharing NAS [64.50415611717057]
  我々は,スーパーネットトレーニングにおける一般的なベースラインが,スーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼすことを示した。 私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。
  論文  参考訳（メタデータ） (2020-03-09T17:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。