論文の概要: Surprisingly Strong Performance Prediction with Neural Graph Features

• arxiv url: http://arxiv.org/abs/2404.16551v2
• Date: Tue, 13 Aug 2024 09:42:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 22:35:03.983601
• Title: Surprisingly Strong Performance Prediction with Neural Graph Features
• Title（参考訳）: ニューラルネットワークによる驚くほど強い性能予測
• Authors: Gabriela Kadlecová, Jovita Lukasik, Martin Pilát, Petra Vidnerová, Mahmoud Safari, Roman Neruda, Frank Hutter,
• Abstract要約: アーキテクチャグラフの特性を計算するためのニューラルグラフ特徴量(GRAF)を提案する。 GRAFは高速かつ解釈可能なパフォーマンス予測を提供すると同時に、ゼロコストプロキシよりも優れています。 他のゼロコストプロキシと組み合わせて、GRAFはコストのごく一部で既存のパフォーマンス予測器を上回っている。
• 参考スコア（独自算出の注目度）: 35.54664728425731
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Performance prediction has been a key part of the neural architecture search (NAS) process, allowing to speed up NAS algorithms by avoiding resource-consuming network training. Although many performance predictors correlate well with ground truth performance, they require training data in the form of trained networks. Recently, zero-cost proxies have been proposed as an efficient method to estimate network performance without any training. However, they are still poorly understood, exhibit biases with network properties, and their performance is limited. Inspired by the drawbacks of zero-cost proxies, we propose neural graph features (GRAF), simple to compute properties of architectural graphs. GRAF offers fast and interpretable performance prediction while outperforming zero-cost proxies and other common encodings. In combination with other zero-cost proxies, GRAF outperforms most existing performance predictors at a fraction of the cost.
• Abstract（参考訳）: パフォーマンス予測は、NAS(Neural Architecture Search)プロセスの重要な部分であり、リソース消費のネットワークトレーニングを回避してNASアルゴリズムの高速化を可能にしている。 多くの性能予測器は、地上の真理性能とよく相関するが、訓練されたネットワークの形でトレーニングデータを必要とする。 近年,ネットワーク性能をトレーニングなしで評価する効率的な手法として,ゼロコストプロキシが提案されている。 しかし、それらはまだよく理解されておらず、ネットワーク特性に偏りを示しており、その性能は限られている。 ゼロコストプロキシの欠点に着想を得て,アーキテクチャグラフの特性を簡易に計算可能なニューラルグラフ特徴 (GRAF) を提案する。 GRAFは高速かつ解釈可能なパフォーマンス予測を提供すると同時に、ゼロコストプロキシやその他の一般的なエンコーディングよりも優れている。 他のゼロコストプロキシと組み合わせて、GRAFはコストのごく一部で既存のパフォーマンス予測器を上回っている。

関連論文リスト

• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• The Sparsity Roofline: Understanding the Hardware Limits of Sparse Neural Networks [4.130528857196844]
  本稿では,ニューラルネットワークの空間性を評価する視覚的パフォーマンスモデルであるSparsity Rooflineを紹介する。 機械学習の研究者たちは、実装されていない、あるいは最適化されていないブロック構造化されたスパーシティパターンのパフォーマンスを予測できることを示す。 ハードウェアデザイナが、ハードウェアにおける新しいスパースパターンとスパースデータフォーマットのパフォーマンスに与える影響を、どのように予測できるかを示す。
  論文  参考訳（メタデータ） (2023-09-30T21:29:31Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• How Powerful are Performance Predictors in Neural Architecture Search? [43.86743225322636]
  我々は31の手法を解析し,性能予測器の大規模研究を行った。 予測器の特定のファミリーが組み合わさることで、より優れた予測能力が得られることを示す。
  論文  参考訳（メタデータ） (2021-04-02T17:57:16Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Bayesian Neural Networks at Scale: A Performance Analysis and Pruning Study [2.3605348648054463]
  本研究は,BNNを大規模にトレーニングする際の課題に対処するために,分散トレーニングを用いた高性能コンピューティングの利用について検討する。 我々は,Cray-XC40クラスタ上でのVGG-16とResnet-18モデルのトレーニング性能とスケーラビリティの比較を行った。
  論文  参考訳（メタデータ） (2020-05-23T23:15:34Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。