論文の概要: Architecture Augmentation for Performance Predictor Based on Graph Isomorphism

• arxiv url: http://arxiv.org/abs/2207.00987v1
• Date: Sun, 3 Jul 2022 09:04:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 13:25:32.705411
• Title: Architecture Augmentation for Performance Predictor Based on Graph Isomorphism
• Title（参考訳）: グラフ同型に基づく性能予測器のアーキテクチャ拡張
• Authors: Xiangning Xie, Yuqiao Liu, Yanan Sun, Mengjie Zhang, Kay Chen Tan
• Abstract要約: GIAug というアーキテクチャ拡張手法を提案する。 GIAugは、ほとんどの最先端のピア予測器の性能を大幅に向上させることができることを示す。 さらに、GAAugはImageNet上で3桁の計算コストを節約できる。
• 参考スコア（独自算出の注目度）: 15.478663248038307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) can automatically design architectures for deep neural networks (DNNs) and has become one of the hottest research topics in the current machine learning community. However, NAS is often computationally expensive because a large number of DNNs require to be trained for obtaining performance during the search process. Performance predictors can greatly alleviate the prohibitive cost of NAS by directly predicting the performance of DNNs. However, building satisfactory performance predictors highly depends on enough trained DNN architectures, which are difficult to obtain in most scenarios. To solve this critical issue, we propose an effective DNN architecture augmentation method named GIAug in this paper. Specifically, we first propose a mechanism based on graph isomorphism, which has the merit of efficiently generating a factorial of $\boldsymbol n$ (i.e., $\boldsymbol n!$) diverse annotated architectures upon a single architecture having $\boldsymbol n$ nodes. In addition, we also design a generic method to encode the architectures into the form suitable to most prediction models. As a result, GIAug can be flexibly utilized by various existing performance predictors-based NAS algorithms. We perform extensive experiments on CIFAR-10 and ImageNet benchmark datasets on small-, medium- and large-scale search space. The experiments show that GIAug can significantly enhance the performance of most state-of-the-art peer predictors. In addition, GIAug can save three magnitude order of computation cost at most on ImageNet yet with similar performance when compared with state-of-the-art NAS algorithms.
• Abstract（参考訳）: neural architecture search (nas)はディープニューラルネットワーク(dnn)のアーキテクチャを自動的に設計することができ、現在の機械学習コミュニティで最もホットな研究トピックの1つとなっている。 しかし、NASは、多くのDNNを探索プロセス中に性能を得るために訓練する必要があるため、しばしば計算コストがかかる。 DNNの性能を直接予測することでNASの禁止コストを大幅に軽減することができる。 しかし、性能予測器の構築は、ほとんどのシナリオでは入手が困難である十分に訓練されたDNNアーキテクチャに大きく依存する。 本稿では,この課題を解決するために,GAAug と呼ばれる DNN アーキテクチャ拡張手法を提案する。 具体的には、まずグラフ同型に基づくメカニズムを提案し、これは$\boldsymbol n$ (つまり$\boldsymbol n! $)$\boldsymbol n$ノードを持つ単一のアーキテクチャ上のさまざまなアノテーション付きアーキテクチャ。 さらに,多くの予測モデルに適した形式に,アーキテクチャをエンコードする汎用的な手法も設計した。 その結果、GAAugは様々な性能予測器ベースのNASアルゴリズムによって柔軟に利用することができる。 我々は,CIFAR-10とImageNetベンチマークデータセットについて,中規模・大規模検索空間上で広範囲に実験を行った。 実験の結果、giaugは最先端のピア予測器の性能を大幅に向上できることがわかった。 さらに、GAAugはImageNet上で3桁の計算コストを節約できるが、最先端のNASアルゴリズムと比較すると、同様の性能を持つ。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks [15.823247346294089]
  ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
  論文  参考訳（メタデータ） (2023-05-23T13:44:04Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models [48.57083463364353]
  ランダムグラフモデル学習のレンズを用いて,ニューラルアーキテクチャサーチ(NAS)について検討する。 本稿では,優れたアーキテクチャの分布を学習するグラフ生成モデルGraphPNASを提案する。 提案するグラフジェネレータは,RNNベースよりも一貫して優れており,最先端のNAS手法よりも優れた,あるいは同等のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-28T09:09:06Z)
• NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
  NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。 具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。 提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
  論文  参考訳（メタデータ） (2022-06-18T10:17:15Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
  グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。 構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-19T09:33:57Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。