論文の概要: FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2404.15622v1
- Date: Wed, 24 Apr 2024 03:22:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-25 14:43:50.812795
- Title: FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search
- Title（参考訳）: FR-NAS: 効率的なニューラルネットワーク探索のためのフォワード・アンド・リバースグラフ予測器
- Authors: Haoming Zhang, Ran Cheng,
- Abstract要約: ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
- 参考スコア（独自算出の注目度）: 10.699485270006601
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Architecture Search (NAS) has emerged as a key tool in identifying optimal configurations of deep neural networks tailored to specific tasks. However, training and assessing numerous architectures introduces considerable computational overhead. One method to mitigating this is through performance predictors, which offer a means to estimate the potential of an architecture without exhaustive training. Given that neural architectures fundamentally resemble Directed Acyclic Graphs (DAGs), Graph Neural Networks (GNNs) become an apparent choice for such predictive tasks. Nevertheless, the scarcity of training data can impact the precision of GNN-based predictors. To address this, we introduce a novel GNN predictor for NAS. This predictor renders neural architectures into vector representations by combining both the conventional and inverse graph views. Additionally, we incorporate a customized training loss within the GNN predictor to ensure efficient utilization of both types of representations. We subsequently assessed our method through experiments on benchmark datasets including NAS-Bench-101, NAS-Bench-201, and the DARTS search space, with a training dataset ranging from 50 to 400 samples. Benchmarked against leading GNN predictors, the experimental results showcase a significant improvement in prediction accuracy, with a 3%--16% increase in Kendall-tau correlation. Source codes are available at https://github.com/EMI-Group/fr-nas.
- Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、特定のタスクに適したディープニューラルネットワークの最適構成を特定するための重要なツールとして登場した。
しかし、多数のアーキテクチャのトレーニングと評価は、かなりの計算オーバーヘッドをもたらす。
これを軽減する方法のひとつにパフォーマンス予測器があり、徹底的なトレーニングをせずにアーキテクチャのポテンシャルを見積もる手段を提供する。
ニューラルネットワークは、基本的にDAG(Directed Acyclic Graphs)に類似しているため、グラフニューラルネットワーク(GNN)はそのような予測タスクにおいて明らかな選択となる。
それでも、トレーニングデータの不足は、GNNベースの予測器の精度に影響を与える可能性がある。
そこで我々はNASのための新しいGNN予測器を提案する。
この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。
さらに、GNN予測器にカスタマイズされたトレーニング損失を組み込んで、両タイプの表現の効率的な利用を確実にする。
その後,NAS-Bench-101,NAS-Bench-201,DARTS検索空間などのベンチマークデータセットを用いて,50から400サンプルのトレーニングデータセットを用いて評価を行った。
先行するGNN予測器と比較して、実験結果は予測精度が3%～16%向上し、予測精度が大幅に向上した。
ソースコードはhttps://github.com/EMI-Group/fr-nasで入手できる。
関連論文リスト
- Do Not Train It: A Linear Neural Architecture Search of Graph Neural
Networks [15.823247346294089]
ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。
当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
論文 参考訳（メタデータ） (2023-05-23T13:44:04Z) - A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。
NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
論文 参考訳（メタデータ） (2023-02-21T17:28:05Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - NAS-Bench-Graph: Benchmarking Graph Neural Architecture Search [55.75621026447599]
NAS-Bench-Graphは、GraphNASの統一的、再現可能、効率的な評価をサポートする調整されたベンチマークである。
具体的には,26,206のユニークなグラフニューラルネットワーク(GNN)アーキテクチャを網羅した,統一的で表現力のあるコンパクトな検索空間を構築する。
提案したベンチマークに基づいて,GNNアーキテクチャの性能を検索テーブルから直接取得できるが,それ以上の計算は行わない。
論文 参考訳（メタデータ） (2022-06-18T10:17:15Z) - Self-supervised Representation Learning for Evolutionary Neural
Architecture Search [9.038625856798227]
最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。
少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。
ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。
NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
論文 参考訳（メタデータ） (2020-10-31T04:57:16Z) - Accuracy Prediction with Non-neural Model for Neural Architecture Search [185.0651567642238]
精度予測に非神経モデルを用いる別の手法について検討する。
我々は、ニューラルネットワーク探索(NAS)の予測因子として、勾配向上決定木(GBDT)を活用する。
NASBench-101とImageNetの実験は、NASの予測器としてGBDTを使用することの有効性を示した。
論文 参考訳（メタデータ） (2020-07-09T13:28:49Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z) - A Generic Graph-based Neural Architecture Encoding Scheme for
Predictor-based NAS [18.409809742204896]
この研究は、予測子ベースのニューラルアーキテクチャ探索を改善するために、新しいグラフベースのニューラルArchiTecture Scheme(別名GATES)を提案する。
Gatesは、その操作を、ニューラルネットワークの実際のデータ処理を模倣した伝播情報の変換としてモデル化する。
論文 参考訳（メタデータ） (2020-04-04T09:54:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。