論文の概要: TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2404.00271v1
• Date: Sat, 30 Mar 2024 07:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 04:40:03.637005
• Title: TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search
• Title（参考訳）: TG-NAS: 効率的なニューラルネットワーク探索のためのトランスフォーマーとグラフ畳み込みネットワークによるゼロコストプロキシの活用
• Authors: Ye Qiao, Haocheng Xu, Sitao Huang,
• Abstract要約: TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
• 参考スコア（独自算出の注目度）: 1.30891455653235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) is an effective method for discovering new convolutional neural network (CNN) architectures. However, existing approaches often require time-consuming training or intensive sampling and evaluations. Zero-shot NAS aims to create training-free proxies for architecture performance prediction. However, existing proxies have suboptimal performance, and are often outperformed by simple metrics such as model parameter counts or the number of floating-point operations. Besides, existing model-based proxies cannot be generalized to new search spaces with unseen new types of operators without golden accuracy truth. A universally optimal proxy remains elusive. We introduce TG-NAS, a novel model-based universal proxy that leverages a transformer-based operator embedding generator and a graph convolution network (GCN) to predict architecture performance. This approach guides neural architecture search across any given search space without the need of retraining. Distinct from other model-based predictor subroutines, TG-NAS itself acts as a zero-cost (ZC) proxy, guiding architecture search with advantages in terms of data independence, cost-effectiveness, and consistency across diverse search spaces. Our experiments showcase its advantages over existing proxies across various NAS benchmarks, suggesting its potential as a foundational element for efficient architecture search. TG-NAS achieves up to 300X improvements in search efficiency compared to previous SOTA ZC proxy methods. Notably, it discovers competitive models with 93.75% CIFAR-10 accuracy on the NAS-Bench-201 space and 74.5% ImageNet top-1 accuracy on the DARTS space.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、新しい畳み込みニューラルネットワーク(CNN)アーキテクチャを発見する効果的な方法である。 しかし、既存のアプローチでは、しばしば時間を要するトレーニングや集中的なサンプリングと評価を必要とします。 Zero-shot NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要のプロキシを作成することを目的としている。 しかし、既存のプロキシは最適以下の性能を持ち、しばしばモデルパラメータ数や浮動小数点演算数といった単純な測定値よりも優れている。 さらに、既存のモデルベースのプロキシは、黄金の精度の真偽のない新しいタイプの演算子を持つ新しい探索空間に一般化することはできない。 普遍的に最適なプロキシは、いまだ解明されていない。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 このアプローチは、リトレーニングを必要とせずに、任意の検索空間を横断するニューラルネットワーク探索をガイドする。 他のモデルベースの予測サブルーチンとは違い、TG-NAS自身はゼロコスト(ZC)プロキシとして機能し、データ独立性、コスト効率性、さまざまな検索空間における一貫性といった利点でアーキテクチャ検索を導く。 提案実験では,NASベンチマークにおける既存プロキシに対する優位性を実証し,効率的なアーキテクチャ探索の基盤要素としての可能性を示した。 TG-NASは従来のSOTA ZCプロキシ手法と比較して最大300倍の検索効率向上を実現している。 特に、NAS-Bench-201空間で93.75%のCIFAR-10精度、DARTS空間で74.5%のImageNet Top-1精度の競合モデルを発見した。

関連論文リスト

• Zero-Shot NAS via the Suppression of Local Entropy Decrease [21.100745856699277]
  アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
  論文  参考訳（メタデータ） (2024-11-09T17:36:53Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
  本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。 NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-21T17:28:05Z)
• ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
  我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。 ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2023-01-26T18:38:56Z)
• $\alpha$NAS: Neural Architecture Search using Property Guided Synthesis [1.2746672439030722]
  我々は,より大規模な設計空間において,効率的なニューラルアーキテクチャ探索(NAS)を可能にする技術を開発した。 1) 抽象的な検索空間は元の検索空間よりもかなり小さく,(2) 類似したプログラム特性を持つアーキテクチャも類似した性能を持つ。 我々は進化的フレームワーク内に$alpha$NASというアプローチを実装し、プログラムの特性によって変異が導かれる。
  論文  参考訳（メタデータ） (2022-05-08T21:48:03Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Powering One-shot Topological NAS with Stabilized Share-parameter Proxy [65.09967910722932]
  ワンショットNAS法は、高性能モデルを発見するための訓練効率と能力が際立ったため、研究コミュニティから大きな関心を集めている。 本研究では,大規模Topology Augmented Search Spaceにおいて,高性能なネットワークアーキテクチャを探索することにより,ワンショットNASの向上を図る。 提案手法は,ImageNet 上の Multiply-Adds (MAdds) 制約下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-05-21T08:18:55Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。