論文の概要: How Does Supernet Help in Neural Architecture Search?

• arxiv url: http://arxiv.org/abs/2010.08219v2
• Date: Wed, 5 May 2021 07:26:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 19:54:43.737703
• Title: How Does Supernet Help in Neural Architecture Search?
• Title（参考訳）: Supernetはニューラルアーキテクチャ検索にどのように役立つか?
• Authors: Yuge Zhang, Quanlu Zhang, Yaming Yang
• Abstract要約: 我々は,NAS-Bench-101,NAS-Bench-201,DARTS-CIFAR10,DARTS-PTB,ProxylessNASの5つの探索空間を包括的に解析する。 ウェイトシェアリングはいくつかの検索スペースでうまく機能するが、他の検索スペースでは失敗する。 我々の研究は、将来のNAS研究者に、重量共有のパワーをより活用するよう促すことが期待されている。
• 参考スコア（独自算出の注目度）: 3.8348281160758027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight sharing, as an approach to speed up architecture performance estimation has received wide attention. Instead of training each architecture separately, weight sharing builds a supernet that assembles all the architectures as its submodels. However, there has been debate over whether the NAS process actually benefits from weight sharing, due to the gap between supernet optimization and the objective of NAS. To further understand the effect of weight sharing on NAS, we conduct a comprehensive analysis on five search spaces, including NAS-Bench-101, NAS-Bench-201, DARTS-CIFAR10, DARTS-PTB, and ProxylessNAS. We find that weight sharing works well on some search spaces but fails on others. Taking a step forward, we further identified biases accounting for such phenomenon and the capacity of weight sharing. Our work is expected to inspire future NAS researchers to better leverage the power of weight sharing.
• Abstract（参考訳）: アーキテクチャ性能推定を高速化するアプローチとしての軽量化が注目されている。 各アーキテクチャを個別にトレーニングする代わりに、重み付けはすべてのアーキテクチャをサブモデルとして組み立てるスーパーネットを構築する。 しかし、スーパーネット最適化とNASの目的との間にギャップがあるため、NASプロセスが実際には重量共有の恩恵を受けているかどうかが議論されている。 NAS-Bench-101, NAS-Bench-201, DARTS-CIFAR10, DARTS-PTB, ProxylessNAS の5つの探索空間において, 重み共有がNASに与える影響を総合的に解析する。 ウェイトシェアリングはいくつかの検索スペースではうまく機能するが、他では失敗する。 一歩進めて,このような現象と重量共有能力を考慮したバイアスをさらに特定した。 我々の研究は、将来のNAS研究者に、重量共有のパワーをより活用するよう促すことが期待されている。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• Mixture-of-Supernets: Improving Weight-Sharing Supernet Training with Architecture-Routed Mixture-of-Experts [55.470959564665705]
  ウェイトシェアリングスーパーネットは、最先端のニューラルサーチフレームワークのパフォーマンス評価に不可欠である。 提案手法は,高速機械翻訳モデルのためのNASにおける最先端(SoTA)性能を実現する。 メモリ効率のよいタスク非依存のBERTモデルを構築するためにNASが優れている。
  論文  参考訳（メタデータ） (2023-06-08T00:35:36Z)
• RD-NAS: Enhancing One-shot Supernet Ranking Ability via Ranking Distillation from Zero-cost Proxies [20.076610051602618]
  ランキングの整合性を高めるために、ランキング蒸留ワンショットNAS(RD-NAS)を提案する。 NAS-Bench-201とResNetベースの検索空間の評価は、RD-NASが10.7%と9.65%の改善を達成していることを示している。
  論文  参考訳（メタデータ） (2023-01-24T07:49:04Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• Improve Ranking Correlation of Super-net through Training Scheme from One-shot NAS to Few-shot NAS [13.390484379343908]
  ワンショットNASから少数ショットNASへのステップバイステップトレーニングスーパーネットスキームを提案する。 トレーニングスキームでは,まず1ショットでスーパーネットを訓練し,次にスーパーネットの重みを解体する。 CVPR20223th Lightweight NAS Challenge Track1では4位にランクインした。
  論文  参考訳（メタデータ） (2022-06-13T04:02:12Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• K-shot NAS: Learnable Weight-Sharing for NAS with K-shot Supernets [52.983810997539486]
  我々は、$K$-shotスーパーネットを導入し、各操作の重みを辞書として取り込む。 textitsimplex-netを導入し、各パスに対してアーキテクチャにカスタマイズされたコードを生成する。 ベンチマークデータセットの実験では、KショットNASがパスの評価精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-06-11T14:57:36Z)
• AlphaNet: Improved Training of Supernet with Alpha-Divergence [28.171262066145616]
  より汎用的なアルファダイバージェンスでスーパーネットトレーニングを改善することを提案する。 提案するアルファディバージェンスに基づくスーパーネットトレーニングを,スリムブルニューラルネットワークと重み共有NASの両方に適用する。 特に、発見されたモデルファミリーであるAlphaNetは、幅広いFLOPシステムにおいて、先行技術モデルよりも優れています。
  論文  参考訳（メタデータ） (2021-02-16T04:23:55Z)
• Few-shot Neural Architecture Search [35.28010196935195]
  サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて、検索空間の異なる領域をカバーし、望ましくないコ・アダプションを緩和する数ショットNASを提案する。 ImageNetでは、600MB FLOPSで80.5%、238 MFLOPSで77.5%のTop-1精度に達するモデルが見つかる。
  論文  参考訳（メタデータ） (2020-06-11T22:36:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。