論文の概要: Geometry-Aware Gradient Algorithms for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2004.07802v5
• Date: Thu, 18 Mar 2021 17:47:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-12 20:44:14.575572
• Title: Geometry-Aware Gradient Algorithms for Neural Architecture Search
• Title（参考訳）: ニューラルアーキテクチャ探索のための幾何アウェア勾配アルゴリズム
• Authors: Liam Li, Mikhail Khodak, Maria-Florina Balcan, Ameet Talwalkar
• Abstract要約: 重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
• 参考スコア（独自算出の注目度）: 41.943045315986744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent state-of-the-art methods for neural architecture search (NAS) exploit gradient-based optimization by relaxing the problem into continuous optimization over architectures and shared-weights, a noisy process that remains poorly understood. We argue for the study of single-level empirical risk minimization to understand NAS with weight-sharing, reducing the design of NAS methods to devising optimizers and regularizers that can quickly obtain high-quality solutions to this problem. Invoking the theory of mirror descent, we present a geometry-aware framework that exploits the underlying structure of this optimization to return sparse architectural parameters, leading to simple yet novel algorithms that enjoy fast convergence guarantees and achieve state-of-the-art accuracy on the latest NAS benchmarks in computer vision. Notably, we exceed the best published results for both CIFAR and ImageNet on both the DARTS search space and NAS-Bench201; on the latter we achieve near-oracle-optimal performance on CIFAR-10 and CIFAR-100. Together, our theory and experiments demonstrate a principled way to co-design optimizers and continuous relaxations of discrete NAS search spaces.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)の最近の最先端手法は、問題をアーキテクチャや共有重みに対する継続的な最適化に緩和することで勾配に基づく最適化を利用する。 我々は,単一レベルの経験的リスク最小化による重量共有によるnasを理解すること,nas法の設計を最適化器や正規化器に還元することで,この問題に対する高速に高品質な解を得ることができることを議論する。 ミラー降下理論を提唱し、この最適化の基盤となる構造を利用してスパースアーキテクチャパラメータを返却し、高速収束保証を享受し、最新のnasベンチマークで最先端の精度を達成する、単純で新しいアルゴリズムを導出する幾何認識フレームワークを提案する。 特に、DARTS検索空間とNAS-Bench201の両方において、CIFARとImageNetの両方で最も優れた結果が得られ、後者では、CIFAR-10とCIFAR-100のほぼ最適性能を達成する。 この理論と実験により、離散NAS探索空間の最適化と連続緩和を共同設計する方法が実証された。

関連論文リスト

• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。