論文の概要: WPNAS: Neural Architecture Search by jointly using Weight Sharing and Predictor

• arxiv url: http://arxiv.org/abs/2203.02086v1
• Date: Fri, 4 Mar 2022 01:29:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-07 14:34:14.506729
• Title: WPNAS: Neural Architecture Search by jointly using Weight Sharing and Predictor
• Title（参考訳）: WPNAS: ウェイトシェアリングと予測器を併用したニューラルアーキテクチャ検索
• Authors: Ke Lin, Yong A, Zhuoxin Gan, Yingying Jiang
• Abstract要約: 本稿では,重みの共有と予測を統一的な枠組みで共同で行うことを提案する。 CIFAR-10, CIFAR-100, ImageNetなどのデータセットをNATS-Bench, DARTS, MobileNetで実験する。
• 参考スコア（独自算出の注目度）: 10.684371069046374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight sharing based and predictor based methods are two major types of fast neural architecture search methods. In this paper, we propose to jointly use weight sharing and predictor in a unified framework. First, we construct a SuperNet in a weight-sharing way and probabilisticly sample architectures from the SuperNet. To increase the correctness of the evaluation of architectures, besides direct evaluation using the inherited weights, we further apply a few-shot predictor to assess the architecture on the other hand. The final evaluation of the architecture is the combination of direct evaluation, the prediction from the predictor and the cost of the architecture. We regard the evaluation as a reward and apply a self-critical policy gradient approach to update the architecture probabilities. To further reduce the side effects of weight sharing, we propose a weakly weight sharing method by introducing another HyperNet. We conduct experiments on datasets including CIFAR-10, CIFAR-100 and ImageNet under NATS-Bench, DARTS and MobileNet search space. The proposed WPNAS method achieves state-of-the-art performance on these datasets.
• Abstract（参考訳）: ウェイトシェアリングベースと予測器ベースメソッドは、高速ニューラルネットワーク探索方式の2つの主要なタイプである。 本稿では,重みの共有と予測を統一的な枠組みで共同で行うことを提案する。 まず、重み共有方式でスーパーネットを構築し、スーパーネットから確率的にアーキテクチャをサンプリングする。 アーキテクチャの評価の正確性を高めるため、継承した重みを用いた直接評価に加えて、数ショットの予測器を適用して、アーキテクチャの評価を行う。 アーキテクチャの最終的な評価は、直接評価、予測器からの予測、アーキテクチャのコストの組み合わせである。 評価を報酬として捉え,アーキテクチャの確率性を更新するために,自己批判的な政策勾配アプローチを適用する。 重み共有の副作用をさらに軽減するために、別のHyperNetを導入することで、弱い重み共有手法を提案する。 CIFAR-10, CIFAR-100, ImageNetなどのデータセットをNATS-Bench, DARTS, MobileNetで実験する。 提案手法は,これらのデータセットの最先端性能を実現する。

関連論文リスト

• Efficient Search of Comprehensively Robust Neural Architectures via Multi-fidelity Evaluation [1.9100854225243937]
  マルチファイダリティ評価(ES-CRNA-ME)による包括的強靭性ニューラルアーキテクチャの効率的な探索法を提案する。 具体的には、まず、重み共有に基づくNAS法を用いて、複数のタイプの評価のもと、包括的に堅牢なアーキテクチャを探索する。 相関分析によりロバスト性評価の回数を削減し、同様の評価を取り入れ、評価コストを削減できる。
  論文  参考訳（メタデータ） (2023-05-12T08:28:58Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision of Weight Sharing [6.171090327531059]
  空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。 また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。 NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
  論文  参考訳（メタデータ） (2021-08-06T08:31:42Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。