論文の概要: BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule

• arxiv url: http://arxiv.org/abs/2111.13204v1
• Date: Thu, 25 Nov 2021 18:13:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 17:19:29.109460
• Title: BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule
• Title（参考訳）: BaLeNAS:ベイズ学習規則による微分可能なアーキテクチャ検索
• Authors: Miao Zhang, Jilin Hu, Steven Su, Shirui Pan, Xiaojun Chang, Bin Yang, Gholamreza Haffari
• Abstract要約: 近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
• 参考スコア（独自算出の注目度）: 95.56873042777316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable Architecture Search (DARTS) has received massive attention in recent years, mainly because it significantly reduces the computational cost through weight sharing and continuous relaxation. However, more recent works find that existing differentiable NAS techniques struggle to outperform naive baselines, yielding deteriorative architectures as the search proceeds. Rather than directly optimizing the architecture parameters, this paper formulates the neural architecture search as a distribution learning problem through relaxing the architecture weights into Gaussian distributions. By leveraging the natural-gradient variational inference (NGVI), the architecture distribution can be easily optimized based on existing codebases without incurring more memory and computational consumption. We demonstrate how the differentiable NAS benefits from Bayesian principles, enhancing exploration and improving stability. The experimental results on NAS-Bench-201 and NAS-Bench-1shot1 benchmark datasets confirm the significant improvements the proposed framework can make. In addition, instead of simply applying the argmax on the learned parameters, we further leverage the recently-proposed training-free proxies in NAS to select the optimal architecture from a group architectures drawn from the optimized distribution, where we achieve state-of-the-art results on the NAS-Bench-201 and NAS-Bench-1shot1 benchmarks. Our best architecture in the DARTS search space also obtains competitive test errors with 2.37\%, 15.72\%, and 24.2\% on CIFAR-10, CIFAR-100, and ImageNet datasets, respectively.
• Abstract（参考訳）: 微分可能なアーキテクチャサーチ (DARTS) は近年注目されており、主に重量共有と連続緩和によって計算コストを大幅に削減している。 しかし、近年の研究では、既存の差別化可能なNAS技術は、探索が進むにつれて劣化するアーキテクチャを生み出す、ナイーブベースラインを上回ることに苦慮している。 アーキテクチャパラメータを直接最適化するのではなく、アーキテクチャ重みをガウス分布に緩和することで、ニューラルネットワーク探索を分布学習問題として定式化する。 NGVI(Natural-gradient variational Inference)を利用することで、アーキテクチャの分布を既存のコードベースに基づいて容易に最適化できる。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。 NAS-Bench-201とNAS-Bench-1shot1ベンチマークデータセットの実験結果は、提案フレームワークが実現可能な大幅な改善を確認した。 さらに、argmaxを学習パラメータに適用する代わりに、NASの最近提案したトレーニングフリープロキシを活用し、最適化分布から引き出されたグループアーキテクチャから最適なアーキテクチャを選択し、NAS-Bench-201およびNAS-Bench-1shot1ベンチマークで最先端の結果を得る。 DARTS検索分野で最高のアーキテクチャは、それぞれCIFAR-10、CIFAR-100、ImageNetデータセット上で2.37\%、15.72\%、24.2\%の競合テストエラーも得る。

関連論文リスト

• Are Neural Architecture Search Benchmarks Well Designed? A Deeper Look Into Operation Importance [5.065947993017157]
  我々は、広く使われているNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101ベンチマークを実証分析した。 性能範囲の上限に近いアーキテクチャを生成するためには,操作プールのサブセットのみが必要であることがわかった。 一貫性のある畳み込みレイヤは、アーキテクチャのパフォーマンスに最も影響していると考えています。
  論文  参考訳（メタデータ） (2023-03-29T18:03:28Z)
• Neural Architecture Ranker [19.21631623578852]
  アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。 成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:54:59Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。