論文の概要: How to Train Your Super-Net: An Analysis of Training Heuristics in
Weight-Sharing NAS
- arxiv url: http://arxiv.org/abs/2003.04276v2
- Date: Wed, 17 Jun 2020 13:42:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 07:38:54.763179
- Title: How to Train Your Super-Net: An Analysis of Training Heuristics in
Weight-Sharing NAS
- Title（参考訳）: スーパーネットのトレーニング方法:ウェイトシェアリングNASにおけるトレーニングヒューリスティックスの分析
- Authors: Kaicheng Yu and Rene Ranftl and Mathieu Salzmann
- Abstract要約: 我々は,スーパーネットトレーニングにおける一般的なベースラインが,スーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼすことを示した。
私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。
- 参考スコア（独自算出の注目度）: 64.50415611717057
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Weight sharing promises to make neural architecture search (NAS) tractable
even on commodity hardware. Existing methods in this space rely on a diverse
set of heuristics to design and train the shared-weight backbone network,
a.k.a. the super-net. Since heuristics and hyperparameters substantially vary
across different methods, a fair comparison between them can only be achieved
by systematically analyzing the influence of these factors. In this paper, we
therefore provide a systematic evaluation of the heuristics and hyperparameters
that are frequently employed by weight-sharing NAS algorithms. Our analysis
uncovers that some commonly-used heuristics for super-net training negatively
impact the correlation between super-net and stand-alone performance, and
evidences the strong influence of certain hyperparameters and architectural
choices. Our code and experiments set a strong and reproducible baseline that
future works can build on.
- Abstract（参考訳）: 重み共有は、コモディティハードウェア上でもneural architecture search(nas)を扱いやすくすることを約束している。
既存の手法は、共有重み付きバックボーンネットワーク、すなわちスーパーネットを設計し、訓練するための多様なヒューリスティックに依存している。
ヒューリスティックスとハイパーパラメータは異なる方法によって大きく異なるため、これらの要因の影響を体系的に分析することで、それらの公正な比較が達成できる。
そこで本研究では,重み共有型nasアルゴリズムで頻繁に使用されるヒューリスティックスとハイパーパラメータの系統的評価を行う。
我々の分析では,超ネットトレーニングにおける一般的なヒューリスティックスがスーパーネットとスタンドアローンのパフォーマンスの相関に負の影響を及ぼし,特定のハイパーパラメータとアーキテクチャ選択の強い影響を証明している。
私たちのコードと実験は、将来の作業が構築できる、強く再現可能なベースラインを設定しました。
関連論文リスト
- DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - Learning to Compose SuperWeights for Neural Parameter Allocation Search [61.078949532440724]
提案手法は,同じ重み集合を用いて多くのネットワークに対してパラメータを生成することができることを示す。
これにより、効率的なアンサンブルや、いつでも予測できるようなタスクをサポートできます。
論文 参考訳（メタデータ） (2023-12-03T04:20:02Z) - Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。
提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。
メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
論文 参考訳（メタデータ） (2023-06-08T00:35:36Z) - SPIN: An Empirical Evaluation on Sharing Parameters of Isotropic
Networks [25.465917853812538]
等方性ネットワークにおけるパラメータ共有手法に関する実験的検討を行った。
本稿では,全体効率のよいモデル群を生成するための重み共有戦略を提案する。
論文 参考訳（メタデータ） (2022-07-21T00:16:05Z) - CLOSE: Curriculum Learning On the Sharing Extent Towards Better One-shot
NAS [19.485514022334844]
ワンショットニューラルアーキテクチャサーチ(NAS)は、その効率性からアーキテクチャを発見するために広く利用されている。
以前の研究では、アーキテクチャのワンショットのパフォーマンス推定が、スタンドアローンのトレーニングにおけるパフォーマンスと十分に相関していないことが判明した。
本稿では,スーパーネットを効果的かつ効果的にトレーニングするために,CLOSE(Curriculum Learning On Sharing Extent)を提案する。
論文 参考訳（メタデータ） (2022-07-16T07:45:17Z) - An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
論文 参考訳（メタデータ） (2021-10-04T02:18:44Z) - Weight-Sharing Neural Architecture Search: A Battle to Shrink the
Optimization Gap [90.93522795555724]
ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。
重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。
本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
論文 参考訳（メタデータ） (2020-08-04T11:57:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。