論文の概要: Homogeneous Architecture Augmentation for Neural Predictor

• arxiv url: http://arxiv.org/abs/2107.13153v1
• Date: Wed, 28 Jul 2021 03:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-29 13:49:59.305462
• Title: Homogeneous Architecture Augmentation for Neural Predictor
• Title（参考訳）: ニューラル予測器のための均質なアーキテクチャ拡張
• Authors: Yuqiao Liu, Yehui Tang, Yanan Sun
• Abstract要約: ニューラル・アーキテクチャ・サーチ(NAS)は、手前のタスクのためにディープ・ニューラル・ニューラルネットワーク(DNN)の優れたアーキテクチャを自動で設計することができる。 NASのボトルネックの1つは、高価な性能評価のため、計算コストである。 その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。
• 参考スコア（独自算出の注目度）: 13.35821898997164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) can automatically design well-performed architectures of Deep Neural Networks (DNNs) for the tasks at hand. However, one bottleneck of NAS is the prohibitively computational cost largely due to the expensive performance evaluation. The neural predictors can directly estimate the performance without any training of the DNNs to be evaluated, thus have drawn increasing attention from researchers. Despite their popularity, they also suffer a severe limitation: the shortage of annotated DNN architectures for effectively training the neural predictors. In this paper, we proposed Homogeneous Architecture Augmentation for Neural Predictor (HAAP) of DNN architectures to address the issue aforementioned. Specifically, a homogeneous architecture augmentation algorithm is proposed in HAAP to generate sufficient training data taking the use of homogeneous representation. Furthermore, the one-hot encoding strategy is introduced into HAAP to make the representation of DNN architectures more effective. The experiments have been conducted on both NAS-Benchmark-101 and NAS-Bench-201 dataset. The experimental results demonstrate that the proposed HAAP algorithm outperforms the state of the arts compared, yet with much less training data. In addition, the ablation studies on both benchmark datasets have also shown the universality of the homogeneous architecture augmentation.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、手前のタスクに対して、ディープニューラルネットワーク(DNN)の優れたアーキテクチャを自動的に設計することができる。 しかし、NASのボトルネックの1つは、高価な性能評価のため、計算コストが極めて高いことである。 神経予測器は、評価対象のDNNのトレーニングなしに直接性能を推定できるため、研究者から注目が集まっている。 その人気にもかかわらず、それらは、神経予測器を効果的に訓練するための注釈付きDNNアーキテクチャの不足という、深刻な制限を被っている。 本稿では,前述の問題に対処するために,DNNアーキテクチャのニューラルネットワーク予測器(HAAP)の均一アーキテクチャ拡張を提案する。 具体的には、同種表現を用いた十分なトレーニングデータを生成するために、HAAPで均質アーキテクチャ拡張アルゴリズムを提案する。 さらに、DNNアーキテクチャの表現をより効果的にするために、ワンホット符号化戦略をHAAPに導入する。 実験はNAS-Benchmark-101とNAS-Bench-201のデータセットで実施された。 実験結果から,提案したHAAPアルゴリズムは,トレーニングデータよりもはるかに少ない精度で,芸術の状態を向上することが示された。 さらに、両方のベンチマークデータセットに対するアブレーション研究は、均質アーキテクチャ拡張の普遍性も示している。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• CAP: A Context-Aware Neural Predictor for NAS [4.8761456288582945]
  我々は、トレーニングにいくつかのアノテートアーキテクチャしか必要としない文脈認識型ニューラル予測器(CAP)を提案する。 異なる探索空間における実験結果は、最先端のニューラル予測器と比較してCAPの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-04T07:37:47Z)
• FR-NAS: Forward-and-Reverse Graph Predictor for Efficient Neural Architecture Search [10.699485270006601]
  ニューラルネットワーク探索のための新しいグラフニューラルネットワーク(GNN)予測器を提案する。 この予測器は、従来のグラフビューと逆グラフビューを組み合わせることで、ニューラルネットワークをベクトル表現に変換する。 実験の結果, 予測精度は3%～16%向上し, 予測精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-04-24T03:22:49Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Self-Learning for Received Signal Strength Map Reconstruction with Neural Architecture Search [63.39818029362661]
  ニューラルアーキテクチャサーチ(NAS)と受信信号強度(RSS)マップ再構築のための自己学習に基づくモデルを提案する。 このアプローチは、まず最適なNNアーキテクチャを見つけ、与えられた(RSS)マップの地上実測値に対して同時に推論モデルを訓練する。 実験結果から,この第2モデルの信号予測は,非学習に基づく最先端技術や,アーキテクチャ探索を伴わないNNモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-17T12:19:22Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
  グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。 構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-19T09:33:57Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。