論文の概要: Generalizing Few-Shot NAS with Gradient Matching

• arxiv url: http://arxiv.org/abs/2203.15207v1
• Date: Tue, 29 Mar 2022 03:06:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 13:43:40.540676
• Title: Generalizing Few-Shot NAS with Gradient Matching
• Title（参考訳）: グラディエントマッチングによるFew-Shot NASの一般化
• Authors: Shoukang Hu, Ruochen Wang, Lanqing Hong, Zhenguo Li, Cho-Jui Hsieh, Jiashi Feng
• Abstract要約: One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
• 参考スコア（独自算出の注目度）: 165.5690495295074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient performance estimation of architectures drawn from large search spaces is essential to Neural Architecture Search. One-Shot methods tackle this challenge by training one supernet to approximate the performance of every architecture in the search space via weight-sharing, thereby drastically reducing the search cost. However, due to coupled optimization between child architectures caused by weight-sharing, One-Shot supernet's performance estimation could be inaccurate, leading to degraded search outcomes. To address this issue, Few-Shot NAS reduces the level of weight-sharing by splitting the One-Shot supernet into multiple separated sub-supernets via edge-wise (layer-wise) exhaustive partitioning. Since each partition of the supernet is not equally important, it necessitates the design of a more effective splitting criterion. In this work, we propose a gradient matching score (GM) that leverages gradient information at the shared weight for making informed splitting decisions. Intuitively, gradients from different child models can be used to identify whether they agree on how to update the shared modules, and subsequently to decide if they should share the same weight. Compared with exhaustive partitioning, the proposed criterion significantly reduces the branching factor per edge. This allows us to split more edges (layers) for a given budget, resulting in substantially improved performance as NAS search spaces usually include dozens of edges (layers). Extensive empirical evaluations of the proposed method on a wide range of search spaces (NASBench-201, DARTS, MobileNet Space), datasets (cifar10, cifar100, ImageNet) and search algorithms (DARTS, SNAS, RSPS, ProxylessNAS, OFA) demonstrate that it significantly outperforms its Few-Shot counterparts while surpassing previous comparable methods in terms of the accuracy of derived architectures.
• Abstract（参考訳）: 大規模探索空間から引き出されたアーキテクチャの効率的な性能推定は,ニューラルネットワーク探索に不可欠である。 ワンショット方式はこの課題に取り組むため、1つのスーパーネットを訓練し、重み付けによって検索空間内の全てのアーキテクチャのパフォーマンスを近似し、検索コストを劇的に削減する。 しかし、重み付けによる子アーキテクチャ間の最適化が組み合わさると、One-Shot Supernetの性能評価は不正確になり、検索結果が劣化する可能性がある。 この問題に対処するため、単発スーパーネットをエッジワイズ(レイヤーワイズ)で分離した複数のサブスーパーネットに分割することで、軽量化のレベルを下げる。 スーパーネットの各パーティションは等しく重要ではないので、より効果的な分割基準の設計を必要とする。 本研究では,情報分割決定を行うために,共有重みでの勾配情報を活用する勾配マッチングスコア(GM)を提案する。 直感的には、異なる子モデルからの勾配は、共有モジュールの更新方法に同意するか、次に同じ重みを共有するべきかを決定するのに使用できる。 排他的分割と比較すると,提案基準はエッジごとの分岐係数を著しく減少させる。 これにより、与えられた予算に対してより多くのエッジ(レイヤ)を分割できるようになり、NAS検索スペースは通常数十のエッジ(レイヤ)を含むため、パフォーマンスが大幅に向上する。 提案手法の広い範囲の探索空間(NASBench-201, DARTS, MobileNet Space)、データセット(cifar10, cifar100, ImageNet)、検索アルゴリズム(DARTS, SNAS, RSPS, ProxylessNAS, OFA)に対する広範な実験的な評価は、導出アーキテクチャの精度において、Few-Shotの手法よりもはるかに優れていることを示した。

関連論文リスト

• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• MS-NAS: Multi-Scale Neural Architecture Search for Medical Image Segmentation [16.206524842952636]
  本稿では,ネットワークバックボーンからセル操作までのマルチスケール検索空間を特徴とするマルチスケールNASフレームワークを提案する。 セグメンテーションのための様々なデータセットにおいて、MS-NASは最先端の手法より優れており、0.6-5.4% mIOUと0.4-3.5%のDSC改善を実現している。
  論文  参考訳（メタデータ） (2020-07-13T02:02:00Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。