論文の概要: PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search

• arxiv url: http://arxiv.org/abs/2101.04185v1
• Date: Mon, 11 Jan 2021 20:49:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-04 14:35:14.230050
• Title: PEng4NN: An Accurate Performance Estimation Engine for Efficient Automated Neural Network Architecture Search
• Title（参考訳）: PEng4NN: 効率的なニューラルネットワークアーキテクチャ探索のための精度の高い性能推定エンジン
• Authors: Ariel Keller Rorabaugh (1), Silvina Ca\'ino-Lores (1), Michael R. Wyatt II (1), Travis Johnston (2), Michela Taufer (1) ((1) University of Tennessee, Knoxville, USA, (2) Oak Ridge National Lab, Oak Ridge, USA)
• Abstract要約: ニューラルネットワーク(NN)モデルは、科学シミュレーションやAI、その他の高性能コンピューティング分野でますます利用されている。 NASは、NN機能をキャプチャする主要なメトリクスによってパフォーマンスが測定される特殊なダットセットに対して、優れたパフォーマンスのNNモデルを見つけようとする。 本稿では,NNのトレーニングリソースを削減し,NASスループットを向上する性能推定手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network (NN) models are increasingly used in scientific simulations, AI, and other high performance computing (HPC) fields to extract knowledge from datasets. Each dataset requires tailored NN model architecture, but designing structures by hand is a time-consuming and error-prone process. Neural architecture search (NAS) automates the design of NN architectures. NAS attempts to find well-performing NN models for specialized datsets, where performance is measured by key metrics that capture the NN capabilities (e.g., accuracy of classification of samples in a dataset). Existing NAS methods are resource intensive, especially when searching for highly accurate models for larger and larger datasets. To address this problem, we propose a performance estimation strategy that reduces the resources for training NNs and increases NAS throughput without jeopardizing accuracy. We implement our strategy via an engine called PEng4NN that plugs into existing NAS methods; in doing so, PEng4NN predicts the final accuracy of NNs early in the training process, informs the NAS of NN performance, and thus enables the NAS to terminate training NNs early. We assess our engine on three diverse datasets (i.e., CIFAR-100, Fashion MNIST, and SVHN). By reducing the training epochs needed, our engine achieves substantial throughput gain; on average, our engine saves $61\%$ to $82\%$ of training epochs, increasing throughput by a factor of 2.5 to 5 compared to a state-of-the-art NAS method. We achieve this gain without compromising accuracy, as we demonstrate with two key outcomes. First, across all our tests, between $74\%$ and $97\%$ of the ground truth best models lie in our set of predicted best models. Second, the accuracy distributions of the ground truth best models and our predicted best models are comparable, with the mean accuracy values differing by at most .7 percentage points across all tests.
• Abstract（参考訳）: ニューラルネットワーク(NN)モデルは、データセットから知識を抽出するために、科学シミュレーションやAI、その他のハイパフォーマンスコンピューティング(HPC)分野でますます使われている。 各データセットはnnモデルアーキテクチャをカスタマイズする必要があるが、構造を手で設計することは時間がかかり、エラーが発生しやすいプロセスである。 neural architecture search (nas) はnnアーキテクチャの設計を自動化する。 NASは、NNの能力(例えばデータセット内のサンプルの分類の正確さ)をキャプチャする重要な指標によって、パフォーマンスが測定される特殊なダットセットのNNモデルを見つけようとする。 既存のnasメソッドは、特に大規模データセットの高精度なモデルを探す場合、リソース集約的です。 そこで本研究では,NNのトレーニングリソースを削減し,NASスループットを向上させる性能推定手法を提案する。 PEng4NNはトレーニングプロセスの早い段階でNNの最終精度を予測し、NNのパフォーマンスをNASに通知することで、NASがトレーニングNNの早期終了を可能にする。 CIFAR-100, Fashion MNIST, SVHNの3つの多様なデータセットを用いてエンジンの評価を行った。 我々のエンジンは、必要なトレーニングエポックを減らし、平均すると、トレーニングエポックの6.1 %$から8.2 %$に節約し、最先端NAS法に比べて2.5 %から5 %のスループットを向上する。 2つの重要な結果が示されるように、精度を損なうことなくこの利益を達成する。 第一に、私たちのすべてのテストで、基礎的真実の最良のモデルのうち、74\%$から979\%の範囲が、私たちの予測した最良のモデル群にあります。 第二に、基底真実の最良のモデルと予測された最良のモデルの精度分布は同等であり、平均精度値は全てのテストで少なくとも.7ポイント異なる。

関連論文リスト

• NAS-BNN: Neural Architecture Search for Binary Neural Networks [55.058512316210056]
  我々は、NAS-BNNと呼ばれる二元ニューラルネットワークのための新しいニューラルネットワーク探索手法を提案する。 我々の発見したバイナリモデルファミリーは、20Mから2Mまでの幅広い操作(OP)において、以前のBNNよりも優れていた。 さらに,対象検出タスクにおける探索されたBNNの転送可能性を検証するとともに,探索されたBNNを用いたバイナリ検出器は,MSデータセット上で31.6% mAP,370万 OPsなどの新たな最先端結果を得る。
  論文  参考訳（メタデータ） (2024-08-28T02:17:58Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• Do Not Train It: A Linear Neural Architecture Search of Graph Neural Networks [15.823247346294089]
  ニューラルアーキテクチャコーディング(NAC)という新しいNAS-GNN法を開発した。 当社のアプローチでは,最先端のパフォーマンスを実現しています。そのパフォーマンスは,強いベースラインよりも200倍高速で,18.8%の精度で実現しています。
  論文  参考訳（メタデータ） (2023-05-23T13:44:04Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• Search to aggregate neighborhood for graph neural network [47.47628113034479]
  そこで本研究では,データ固有のGNNアーキテクチャを自動的に設計するためのフレームワークとして,SANE(Search to Aggregate NEighborhood)を提案する。 新規で表現力のある検索空間を設計することにより,従来の強化学習法よりも効率的である微分可能な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-14T03:15:19Z)
• AttentiveNAS: Improving Neural Architecture Search via Attentive Sampling [39.58754758581108]
  2段階のニューラルネットワーク探索(NAS)は、顕著な精度と効率を達成する。 2段階のNASは、トレーニング中に探索空間からのサンプリングを必要とし、最終的な探索モデルの精度に直接影響を及ぼす。 本稿では,より優れたパレートを実現するため,サンプリング戦略の改善に焦点を当てたAttentiveNASを提案する。 発見されたモデルファミリであるAttentiveNASは、ImageNet上で77.3%から80.7%の精度でトップ1の精度を実現し、BigNASやOne-for-Allネットワークを含むSOTAモデルより優れています。
  論文  参考訳（メタデータ） (2020-11-18T00:15:23Z)
• PV-NAS: Practical Neural Architecture Search for Video Recognition [83.77236063613579]
  ビデオタスクのためのディープニューラルネットワークは高度にカスタマイズされており、そのようなネットワークの設計にはドメインの専門家と高価な試行錯誤テストが必要である。 ネットワークアーキテクチャ検索の最近の進歩により、画像認識性能は大幅に向上した。 本研究では,実用的ビデオニューラルアーキテクチャ探索(PV-NAS)を提案する。
  論文  参考訳（メタデータ） (2020-11-02T08:50:23Z)
• Direct Federated Neural Architecture Search [0.0]
  本稿では,ハードウェアに依存せず,計算的に軽量な直接フェデレーションNASと,準備の整ったニューラルネットワークモデルを探すためのワンステージ手法を提案する。 以上の結果から, 従来技術の精度向上を図りながら, 資源消費の大幅な削減を図った。
  論文  参考訳（メタデータ） (2020-10-13T08:11:35Z)
• BRP-NAS: Prediction-based NAS using GCNs [21.765796576990137]
  BRP-NASは、グラフ畳み込みネットワーク(GCN)に基づく正確な性能予測によって実現された効率的なハードウェア対応NASである 提案手法はNAS-Bench-101とNAS-Bench-201の先行手法よりも優れていることを示す。 また、幅広いデバイスで動作するNAS-Bench-201モデルのレイテンシデータセットであるLatBenchもリリースしました。
  論文  参考訳（メタデータ） (2020-07-16T21:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。