論文の概要: Inferring Convolutional Neural Networks' accuracies from their architectural characterizations

• arxiv url: http://arxiv.org/abs/2001.02160v2
• Date: Fri, 10 Jan 2020 03:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 20:34:54.380615
• Title: Inferring Convolutional Neural Networks' accuracies from their architectural characterizations
• Title（参考訳）: アーキテクチャ的特徴から畳み込みニューラルネットワークの精度を推定する
• Authors: Duc Hoang (1), Jesse Hamer (2), Gabriel N. Perdue (3), Steven R. Young (4), Jonathan Miller (5), Anushree Ghosh (5) ((1) Rhodes College, (2) The University of Iowa, (3) Fermi National Accelerator Laboratory, (4) Oak Ridge National Laboratory, (5) Universidad T\'ecnica Federico Santa Mar\'ia)
• Abstract要約: CNNのアーキテクチャと性能の関係について検討する。 本稿では,2つのコンピュータビジョンに基づく物理問題において,その特性がネットワークの性能を予測できることを示す。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional Neural Networks (CNNs) have shown strong promise for analyzing scientific data from many domains including particle imaging detectors. However, the challenge of choosing the appropriate network architecture (depth, kernel shapes, activation functions, etc.) for specific applications and different data sets is still poorly understood. In this paper, we study the relationships between a CNN's architecture and its performance by proposing a systematic language that is useful for comparison between different CNN's architectures before training time. We characterize CNN's architecture by different attributes, and demonstrate that the attributes can be predictive of the networks' performance in two specific computer vision-based physics problems -- event vertex finding and hadron multiplicity classification in the MINERvA experiment at Fermi National Accelerator Laboratory. In doing so, we extract several architectural attributes from optimized networks' architecture for the physics problems, which are outputs of a model selection algorithm called Multi-node Evolutionary Neural Networks for Deep Learning (MENNDL). We use machine learning models to predict whether a network can perform better than a certain threshold accuracy before training. The models perform 16-20% better than random guessing. Additionally, we found an coefficient of determination of 0.966 for an Ordinary Least Squares model in a regression on accuracy over a large population of networks.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(cnns)は、粒子イメージング検出器を含む多くの領域の科学データを分析することに強い期待を示している。 しかし、特定のアプリケーションや異なるデータセットに対して適切なネットワークアーキテクチャ(深さ、カーネル形状、アクティベーション関数など)を選択するという課題はまだよく分かっていない。 本稿では,CNNアーキテクチャとCNNアーキテクチャの関係について,学習時間前に異なるCNNアーキテクチャの比較に有用な体系言語を提案する。 我々は、CNNのアーキテクチャを異なる属性で特徴づけ、その特性が2つの特定のコンピュータビジョンに基づく物理問題(フェルミ国立加速器研究所のMINERvA実験における事象頂点探索とハドロン多重度分類)におけるネットワーク性能の予測可能であることを示す。 そこで我々は,Multi-node Evolutionary Neural Networks for Deep Learning (MENNDL)と呼ばれるモデル選択アルゴリズムの出力である物理問題に対する最適化ネットワークアーキテクチャから,いくつかのアーキテクチャ特性を抽出した。 我々は機械学習モデルを用いて、トレーニング前にネットワークが一定のしきい値精度よりも優れた性能を発揮できるかどうかを予測する。 モデルはランダムな推測よりも16-20%よい。 さらに,ネットワークの集団に対する精度の回帰において,通常の最小二乗モデルに対して0.966の判定係数が得られた。

関連論文リスト

• Simultaneous Weight and Architecture Optimization for Neural Networks [6.2241272327831485]
  アーキテクチャとパラメータを勾配降下と同時に学習することで、プロセスを変換する新しいニューラルネットワークトレーニングフレームワークを導入する。 このアプローチの中心はマルチスケールエンコーダデコーダで、エンコーダは互いに近くにある同様の機能を持つニューラルネットワークのペアを埋め込む。 実験により、我々のフレームワークは、高性能を維持しているスパースでコンパクトなニューラルネットワークを発見できることを示した。
  論文  参考訳（メタデータ） (2024-10-10T19:57:36Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization [2.322689362836168]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。 パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
  論文  参考訳（メタデータ） (2021-03-06T00:23:27Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Genetic U-Net: Automatically Designed Deep Networks for Retinal Vessel Segmentation Using a Genetic Algorithm [2.6629444004809826]
  遺伝的U-Netは、より優れた網膜血管セグメンテーションを実現することができるが、アーキテクチャに基づくパラメータが少ないU字型畳み込みニューラルネットワーク(CNN)を生成するために提案されている。 実験の結果,提案手法を用いて得られたアーキテクチャは,元のU-Netパラメータの1%以下で優れた性能を示した。
  論文  参考訳（メタデータ） (2020-10-29T13:31:36Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Analyzing Neural Networks Based on Random Graphs [77.34726150561087]
  様々なタイプのランダムグラフに対応するアーキテクチャを用いて,ニューラルネットワークの大規模評価を行う。 古典的な数値グラフ不変量は、それ自体が最良のネットワークを選び出すことができない。 また、主に短距離接続を持つネットワークは、多くの長距離接続が可能なネットワークよりも性能が良いことも見出した。
  論文  参考訳（メタデータ） (2020-02-19T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。