論文の概要: Predicting Neural Network Accuracy from Weights
- arxiv url: http://arxiv.org/abs/2002.11448v4
- Date: Fri, 9 Apr 2021 10:38:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 14:15:41.830650
- Title: Predicting Neural Network Accuracy from Weights
- Title(参考訳): 重みからニューラルネットワークの精度を予測する
- Authors: Thomas Unterthiner, Daniel Keysers, Sylvain Gelly, Olivier Bousquet,
Ilya Tolstikhin
- Abstract要約: トレーニングされたニューラルネットワークの精度は、その重みだけを見て驚くほど正確に予測できることを実験的に示す。
この分野のさらなる研究を促進するために、4つの異なるデータセットでトレーニングされた120kの畳み込みニューラルネットワークのコレクションをリリースする。
- 参考スコア(独自算出の注目度): 25.73213712719546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show experimentally that the accuracy of a trained neural network can be
predicted surprisingly well by looking only at its weights, without evaluating
it on input data. We motivate this task and introduce a formal setting for it.
Even when using simple statistics of the weights, the predictors are able to
rank neural networks by their performance with very high accuracy (R2 score
more than 0.98). Furthermore, the predictors are able to rank networks trained
on different, unobserved datasets and with different architectures. We release
a collection of 120k convolutional neural networks trained on four different
datasets to encourage further research in this area, with the goal of
understanding network training and performance better.
- Abstract(参考訳): トレーニングされたニューラルネットワークの精度は、入力データで評価することなく、重みだけを見て驚くほどよく予測できることを実験的に示す。
このタスクを動機付け、正式な設定を導入します。
重みの単純な統計を用いても、予測器は非常に高い精度でニューラルネットワークをランク付けすることができる(R2スコアは0.98以上)。
さらに、予測者は異なる、観測されていないデータセットと異なるアーキテクチャでトレーニングされたネットワークをランク付けすることができる。
我々は、4つの異なるデータセットでトレーニングされた120kの畳み込みニューラルネットワークのコレクションをリリースし、この領域におけるさらなる研究を促進し、ネットワークトレーニングとパフォーマンスの向上を目標にしています。
関連論文リスト
- When do Convolutional Neural Networks Stop Learning? [0.0]
畳み込みニューラルネットワーク(CNN)はコンピュータビジョンタスクにおいて優れた性能を示した。
現在の実践は、トレーニング損失が減少し、トレーニングと検証エラーの間のギャップが増加すると、トレーニングをやめることである。
この研究は、CNNの変種の全層にわたるデータ変動を分析し、その準最適学習能力を予測する仮説を導入している。
論文 参考訳(メタデータ) (2024-03-04T20:35:09Z) - Diffusion-based Neural Network Weights Generation [85.6725307453325]
データセット条件付き事前学習重み抽出による効率よく適応的な伝達学習手法を提案する。
具体的には、ニューラルネットワークの重みを再構築できる変分オートエンコーダを備えた潜時拡散モデルを用いる。
論文 参考訳(メタデータ) (2024-02-28T08:34:23Z) - Neural Priming for Sample-Efficient Adaptation [92.14357804106787]
ニューラルプライミング(Neural Priming)は、大規模な事前学習されたモデルを分散シフトや下流タスクに適応させる手法である。
ニューラルプライミングは、LAION-2Bほどの大きさの事前訓練であっても、テスト時に行うことができる。
論文 参考訳(メタデータ) (2023-06-16T21:53:16Z) - Diffused Redundancy in Pre-trained Representations [98.55546694886819]
事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。
与えられた層における学習された表現は拡散冗長性を示す。
我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
論文 参考訳(メタデータ) (2023-05-31T21:00:50Z) - DCLP: Neural Architecture Predictor with Curriculum Contrastive Learning [5.2319020651074215]
ニューラル予測器(DCLP)のためのカリキュラム誘導型コントラスト学習フレームワークを提案する。
本手法は,新たなカリキュラムを設計し,ラベルのないトレーニングデータ分布の安定性を高めることで,対照的なタスクを単純化する。
我々は既存の予測器と比較してDCLPの精度と効率が優れていることを実験的に実証した。
論文 参考訳(メタデータ) (2023-02-25T08:16:21Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T04:23:12Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳(メタデータ) (2021-02-20T23:26:58Z) - The training accuracy of two-layer neural networks: its estimation and
understanding using random datasets [0.0]
本研究では,空間分割に基づく新しい理論を提案し,ランダムデータセット上の2層ニューラルネットワークのトレーニング精度をトレーニングなしで推定する。
提案手法は,3つの引数のみを用いて,2種類のランダムデータセット上での2層完全連結ニューラルネットワークのトレーニング精度を推定する。
論文 参考訳(メタデータ) (2020-10-26T07:21:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。