論文の概要: A Generic Graph-based Neural Architecture Encoding Scheme for
Predictor-based NAS
- arxiv url: http://arxiv.org/abs/2004.01899v3
- Date: Tue, 1 Sep 2020 01:06:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 22:35:52.728554
- Title: A Generic Graph-based Neural Architecture Encoding Scheme for
Predictor-based NAS
- Title(参考訳): 予測型NASのための汎用グラフベースニューラルネットワーク符号化方式
- Authors: Xuefei Ning, Yin Zheng, Tianchen Zhao, Yu Wang, and Huazhong Yang
- Abstract要約: この研究は、予測子ベースのニューラルアーキテクチャ探索を改善するために、新しいグラフベースのニューラルArchiTecture Scheme(別名GATES)を提案する。
Gatesは、その操作を、ニューラルネットワークの実際のデータ処理を模倣した伝播情報の変換としてモデル化する。
- 参考スコア(独自算出の注目度): 18.409809742204896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work proposes a novel Graph-based neural ArchiTecture Encoding Scheme,
a.k.a. GATES, to improve the predictor-based neural architecture search.
Specifically, different from existing graph-based schemes, GATES models the
operations as the transformation of the propagating information, which mimics
the actual data processing of neural architecture. GATES is a more reasonable
modeling of the neural architectures, and can encode architectures from both
the "operation on node" and "operation on edge" cell search spaces
consistently. Experimental results on various search spaces confirm GATES's
effectiveness in improving the performance predictor. Furthermore, equipped
with the improved performance predictor, the sample efficiency of the
predictor-based neural architecture search (NAS) flow is boosted. Codes are
available at https://github.com/walkerning/aw_nas.
- Abstract(参考訳): この研究は、予測型ニューラルネットワーク探索を改善するために、グラフベースのニューラルArchiTecture Encoding Scheme(別名GATES)を提案する。
具体的には、既存のグラフベースのスキームとは異なり、GATESは、ニューラルネットワークの実際のデータ処理を模倣する伝搬情報の変換として操作をモデル化する。
GATESは、ニューラルネットワークアーキテクチャのより合理的なモデリングであり、"ノード上の操作"と"エッジ上の操作"の両方からアーキテクチャを一貫してエンコードすることができる。
各種探索空間における実験結果から,GATESの有効性が検証された。
さらに、改良された性能予測器を備えて、予測器ベースのニューラルネットワーク探索(nas)フローのサンプル効率を向上させる。
コードはhttps://github.com/walkerning/aw_nasで入手できる。
関連論文リスト
- Set-based Neural Network Encoding [57.15855198512551]
一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-05-26T04:34:28Z) - GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。
そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
論文 参考訳(メタデータ) (2023-05-15T12:44:54Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - Network Graph Based Neural Architecture Search [57.78724765340237]
我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。
グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
論文 参考訳(メタデータ) (2021-12-15T00:12:03Z) - Edge-featured Graph Neural Architecture Search [131.4361207769865]
最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。
具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。
EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
論文 参考訳(メタデータ) (2021-09-03T07:53:18Z) - Rethinking Graph Neural Network Search from Message-passing [120.62373472087651]
本稿では,新しい検索空間を設計したグラフニューラルアーキテクチャサーチ(GNAS)を提案する。
グラフニューラルアーキテクチャパラダイム(GAP:Graph Neural Architecture Paradigm)をツリートポロジー計算手順と2種類の微粒原子操作で設計します。
実験では、GNASは複数のメッセージ通過機構と最適なメッセージ通過深さを持つより良いGNNを探索できることを示しています。
論文 参考訳(メタデータ) (2021-03-26T06:10:41Z) - Neural Architecture Search based on Cartesian Genetic Programming Coding
Method [6.519170476143571]
文分類課題を解決するために,CGPに基づくNASの進化的アプローチであるCGPNASを提案する。
実験の結果,検索されたアーキテクチャは人間設計アーキテクチャの性能に匹敵することがわかった。
論文 参考訳(メタデータ) (2021-03-12T09:51:03Z) - Self-supervised Representation Learning for Evolutionary Neural
Architecture Search [9.038625856798227]
最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。
少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。
ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。
NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-10-31T04:57:16Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳(メタデータ) (2020-05-14T09:02:33Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳(メタデータ) (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。