論文の概要: NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance
- arxiv url: http://arxiv.org/abs/2408.08776v1
- Date: Fri, 16 Aug 2024 14:38:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-19 15:14:04.787622
- Title: NEAR: A Training-Free Pre-Estimator of Machine Learning Model Performance
- Title(参考訳): NEAR: 機械学習モデルパフォーマンスのトレーニング不要事前評価
- Authors: Raphael T. Husistein, Markus Reiher, Marco Eckhoff,
- Abstract要約: 我々は、トレーニングなしで最適なニューラルネットワークを特定するために、アクティベーションランク(NEAR)によるゼロコストプロキシネットワーク表現を提案する。
このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial neural networks have been shown to be state-of-the-art machine learning models in a wide variety of applications, including natural language processing and image recognition. However, building a performant neural network is a laborious task and requires substantial computing power. Neural Architecture Search (NAS) addresses this issue by an automatic selection of the optimal network from a set of potential candidates. While many NAS methods still require training of (some) neural networks, zero-cost proxies promise to identify the optimal network without training. In this work, we propose the zero-cost proxy Network Expressivity by Activation Rank (NEAR). It is based on the effective rank of the pre- and post-activation matrix, i.e., the values of a neural network layer before and after applying its activation function. We demonstrate the cutting-edge correlation between this network score and the model accuracy on NAS-Bench-101 and NATS-Bench-SSS/TSS. In addition, we present a simple approach to estimate the optimal layer sizes in multi-layer perceptrons. Furthermore, we show that this score can be utilized to select hyperparameters such as the activation function and the neural network weight initialization scheme.
- Abstract(参考訳): ニューラルネットワークは、自然言語処理や画像認識など、さまざまなアプリケーションにおいて最先端の機械学習モデルであることが示されている。
しかし、パフォーマンスニューラルネットワークの構築は、面倒な作業であり、かなりの計算能力を必要とする。
ニューラルネットワーク探索(NAS)は、潜在的な候補の集合から最適なネットワークを自動的に選択することでこの問題に対処する。
多くのNASメソッドは、まだ(一部)ニューラルネットワークのトレーニングを必要とするが、ゼロコストプロキシは、トレーニングなしで最適なネットワークを特定することを約束する。
本研究では,アクティベーションランク(NEAR)によるネットワーク表現のゼロコスト化を提案する。
これは、前および後活性化行列の有効ランク、すなわち、その活性化関数を適用した前後のニューラルネットワーク層の値に基づいている。
このネットワークスコアとNAS-Bench-101とNATS-Bench-SSS/TSSのモデル精度の最先端相関を実証した。
さらに,多層パーセプトロンの最適層サイズを簡易に推定する手法を提案する。
さらに、このスコアを用いて、活性化関数やニューラルネットワーク重み初期化スキームなどのハイパーパラメータを選択できることを示す。
関連論文リスト
- Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
本稿では,重み空間学習におけるSANEアプローチを紹介する。
ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
論文 参考訳(メタデータ) (2024-06-14T13:12:07Z) - Activity Sparsity Complements Weight Sparsity for Efficient RNN
Inference [2.0822643340897273]
本研究では、繰り返しニューラルネットワークモデルにおいて、活動空間がパラメータ空間と乗算的に構成可能であることを示す。
私たちはPenn Treebank言語モデリングタスクで60ドル以下の難易度を維持しながら、最大20ドルまで計算の削減を実現しています。
論文 参考訳(メタデータ) (2023-11-13T08:18:44Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳(メタデータ) (2022-11-19T15:44:08Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳(メタデータ) (2022-11-15T10:15:21Z) - A Faster Approach to Spiking Deep Convolutional Neural Networks [0.0]
スパイキングニューラルネットワーク(SNN)は、現在のディープニューラルネットワークよりも脳に近いダイナミクスを持つ。
ネットワークのランタイムと精度を改善するために,従来の作業に基づくネットワーク構造を提案する。
論文 参考訳(メタデータ) (2022-10-31T16:13:15Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳(メタデータ) (2022-01-11T20:53:15Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳(メタデータ) (2021-11-15T22:33:52Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。