論文の概要: Neighborhood-Aware Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2105.06369v1
• Date: Thu, 13 May 2021 15:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 14:06:11.937615
• Title: Neighborhood-Aware Neural Architecture Search
• Title（参考訳）: 近隣認識型ニューラルアーキテクチャ探索
• Authors: Xiaofang Wang, Shengcao Cao, Mengtian Li, Kris M. Kitani
• Abstract要約: 探索空間におけるフラットミニマアーキテクチャを同定するニューラルアーキテクチャ探索(NAS)手法を提案する。 我々の定式化は、アーキテクチャの「平坦性」を考慮に入れ、このアーキテクチャの近傍における性能を集約する。 本論文では, 地域別ランダム検索 (NA-RS) と地域別差別化アーキテクチャ検索 (NA-DARTS) を提案する。
• 参考スコア（独自算出の注目度）: 43.87465987957761
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing neural architecture search (NAS) methods often return an architecture with good search performance but generalizes poorly to the test setting. To achieve better generalization, we propose a novel neighborhood-aware NAS formulation to identify flat-minima architectures in the search space, with the assumption that flat minima generalize better than sharp minima. The phrase "flat-minima architecture" refers to architectures whose performance is stable under small perturbations in the architecture (e.g., replacing a convolution with a skip connection). Our formulation takes the "flatness" of an architecture into account by aggregating the performance over the neighborhood of this architecture. We demonstrate a principled way to apply our formulation to existing search algorithms, including sampling-based algorithms and gradient-based algorithms. To facilitate the application to gradient-based algorithms, we also propose a differentiable representation for the neighborhood of architectures. Based on our formulation, we propose neighborhood-aware random search (NA-RS) and neighborhood-aware differentiable architecture search (NA-DARTS). Notably, by simply augmenting DARTS with our formulation, NA-DARTS finds architectures that perform better or on par with those found by state-of-the-art NAS methods on established benchmarks, including CIFAR-10, CIFAR-100 and ImageNet.
• Abstract（参考訳）: 既存のneural architecture search (nas)メソッドは、検索性能は良いが、テスト設定が不十分なアーキテクチャを返すことが多い。 探索空間における平坦なミニマアーキテクチャを,フラットなミニマがシャープなミニマよりも一般化できるという前提のもとに,新しい近傍認識型NASの定式化を提案する。 フラットミニマアーキテクチャ(flat-minima architecture)とは、アーキテクチャの小さな摂動下で性能が安定しているアーキテクチャを指す(例えば、畳み込みをスキップ接続で置き換える)。 我々の定式化は、アーキテクチャの「平坦性」を考慮に入れ、このアーキテクチャの近傍における性能を集約する。 提案手法は,サンプリングに基づくアルゴリズムや勾配に基づくアルゴリズムなど,既存の検索アルゴリズムに適用する原理的手法を示す。 また,グラデーションに基づくアルゴリズムの適用を容易にするために,アーキテクチャ近傍の微分可能表現を提案する。 本定式化に基づき,近隣対応型ランダムサーチ (NA-RS) と周辺対応型差別化アーキテクチャサーチ (NA-DARTS) を提案する。 NA-DARTSは、私たちの定式化でDARTSを単純に拡張することで、CIFAR-10、CIFAR-100、ImageNetといった確立したベンチマーク上で、最先端のNASメソッドで見つかったアーキテクチャと同等または同等の性能のアーキテクチャを見つける。

関連論文リスト

• EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [54.99121380536659]
  眼球運動バイオメトリックスは、高い安全性の識別により注目されている。 深層学習(DL)モデルは近年,眼球運動認識に成功している。 DLアーキテクチャはまだ人間の事前知識によって決定されている。 眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
  論文  参考訳（メタデータ） (2024-09-22T13:11:08Z)
• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)
• Does Unsupervised Architecture Representation Learning Help Neural Architecture Search? [22.63641173256389]
  既存のニューラルアーキテクチャサーチ(NAS)手法は、スケールが良くない離散符号化を用いてニューラルアーキテクチャをエンコードするか、アーキテクチャ表現を共同で学習し、探索バイアスを引き起こすような表現上でアーキテクチャ探索を最適化するための教師付き学習ベースの手法を採用する。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。
  論文  参考訳（メタデータ） (2020-06-12T04:15:34Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。