論文の概要: Self-supervised Representation Learning for Evolutionary Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2011.00186v1
• Date: Sat, 31 Oct 2020 04:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 05:06:27.687413
• Title: Self-supervised Representation Learning for Evolutionary Neural Architecture Search
• Title（参考訳）: 進化的ニューラルアーキテクチャ探索のための自己教師付き表現学習
• Authors: Chen Wei, Yiping Tang, Chuang Niu, Haihong Hu, Yue Wang and Jimin Liang
• Abstract要約: 最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。 少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。 ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。 NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 9.038625856798227
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently proposed neural architecture search (NAS) algorithms adopt neural predictors to accelerate the architecture search. The capability of neural predictors to accurately predict the performance metrics of neural architecture is critical to NAS, and the acquisition of training datasets for neural predictors is time-consuming. How to obtain a neural predictor with high prediction accuracy using a small amount of training data is a central problem to neural predictor-based NAS. Here, we firstly design a new architecture encoding scheme that overcomes the drawbacks of existing vector-based architecture encoding schemes to calculate the graph edit distance of neural architectures. To enhance the predictive performance of neural predictors, we devise two self-supervised learning methods from different perspectives to pre-train the architecture embedding part of neural predictors to generate a meaningful representation of neural architectures. The first one is to train a carefully designed two branch graph neural network model to predict the graph edit distance of two input neural architectures. The second method is inspired by the prevalently contrastive learning, and we present a new contrastive learning algorithm that utilizes a central feature vector as a proxy to contrast positive pairs against negative pairs. Experimental results illustrate that the pre-trained neural predictors can achieve comparable or superior performance compared with their supervised counterparts with several times less training samples. We achieve state-of-the-art performance on the NASBench-101 and NASBench201 benchmarks when integrating the pre-trained neural predictors with an evolutionary NAS algorithm.
• Abstract（参考訳）: 最近提案されたneural architecture search (nas)アルゴリズムは、アーキテクチャ検索を高速化するためにneural predictorを採用している。 ニューラルネットワークのパフォーマンス指標を正確に予測する神経予測器の能力はNASにとって重要であり、神経予測器のためのトレーニングデータセットの取得には時間がかかる。 少量のトレーニングデータを用いて予測精度の高い神経予測器を得る方法は、神経予測器に基づくNASの中心的な問題である。 本稿では,ニューラルネットワークのグラフ編集距離を計算するために,既存のベクトルベースアーキテクチャ符号化方式の欠点を克服する新しいアーキテクチャ符号化方式を設計する。 ニューラル予測器の予測性能を向上させるために,異なる視点から2つの自己教師付き学習手法を考案し,ニューラル予測器のアーキテクチャ埋め込み部分を事前学習し,ニューラルネットワークの有意義な表現を生成する。 まず、慎重に設計された2つの分岐グラフニューラルネットワークモデルをトレーニングして、2つの入力ニューラルネットワークアーキテクチャのグラフ編集距離を予測する。 第2の方法は,一般的なコントラスト学習に触発され,中央特徴ベクトルを指標として負のペアと正のペアを対比する新しいコントラスト学習アルゴリズムを提案する。 実験結果から、事前学習された神経予測器は、数倍のトレーニングサンプルを持つ教師付き予測器と比較して、同等または優れた性能を達成できることが示された。 NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。

関連論文リスト

• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Set-based Neural Network Encoding [57.15855198512551]
  一般化性能予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークの一般化性能予測には,クロスデータセットとクロスアーキテクチャという2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。