論文の概要: ResNet Structure Simplification with the Convolutional Kernel Redundancy Measure

• arxiv url: http://arxiv.org/abs/2212.00272v1
• Date: Thu, 1 Dec 2022 04:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 15:38:08.124240
• Title: ResNet Structure Simplification with the Convolutional Kernel Redundancy Measure
• Title（参考訳）: 畳み込みカーネル冗長度測定によるResNet構造簡易化
• Authors: Hongzhi Zhu, Robert Rohling, Septimiu Salcudean
• Abstract要約: 本稿では,ネットワーク構造の単純化を導くための定量評価手法である畳み込みカーネル冗長度尺度を提案する。 提案手法は,ネットワークの性能を維持し,パラメータ数を2300万ドル以上から128ドル程度に削減できる。
• 参考スコア（独自算出の注目度）: 3.8637285238278434
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep learning, especially convolutional neural networks, has triggered accelerated advancements in computer vision, bringing changes into our daily practice. Furthermore, the standardized deep learning modules (also known as backbone networks), i.e., ResNet and EfficientNet, have enabled efficient and rapid development of new computer vision solutions. Yet, deep learning methods still suffer from several drawbacks. One of the most concerning problems is the high memory and computational cost, such that dedicated computing units, typically GPUs, have to be used for training and development. Therefore, in this paper, we propose a quantifiable evaluation method, the convolutional kernel redundancy measure, which is based on perceived image differences, for guiding the network structure simplification. When applying our method to the chest X-ray image classification problem with ResNet, our method can maintain the performance of the network and reduce the number of parameters from over $23$ million to approximately $128$ thousand (reducing $99.46\%$ of the parameters).
• Abstract（参考訳）: ディープラーニング、特に畳み込みニューラルネットワークは、コンピュータビジョンの進歩を加速させ、私たちの日々の実践に変化をもたらした。 さらに、標準化されたディープラーニングモジュール(バックボーンネットワークとも呼ばれる)、すなわちResNetとEfficientNetは、新しいコンピュータビジョンソリューションの効率的かつ迅速な開発を可能にした。 しかし、ディープラーニング手法にはいくつかの欠点がある。 最も関係のある問題の1つは高メモリと計算コストであり、例えば専用コンピューティングユニット(典型的にはGPU)をトレーニングと開発に使わなければならない。 そこで本稿では,ネットワーク構造の簡易化を導くために,認識された画像差に基づく畳み込みカーネル冗長度尺度(convolutional kernel redundancy measure)を提案する。 ResNetを用いた胸部X線画像分類問題に本手法を適用すると,ネットワークの性能を維持でき,パラメータ数を2300万ドル以上から128ドル程度に削減できる(パラメータの99.46\%を還元する)。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Accelerating Deep Neural Networks via Semi-Structured Activation Sparsity [0.0]
  ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。 そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。 当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
  論文  参考訳（メタデータ） (2023-09-12T22:28:53Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• A Proper Orthogonal Decomposition approach for parameters reduction of Single Shot Detector networks [0.0]
  本稿では,古典的モデルオーダー削減手法であるProper Orthogonal Decompositionに基づく次元削減フレームワークを提案する。 我々は、PASCAL VOCデータセットを用いてSSD300アーキテクチャにそのようなフレームワークを適用し、ネットワーク次元の削減と、転送学習コンテキストにおけるネットワークの微調整における顕著な高速化を実証した。
  論文  参考訳（メタデータ） (2022-07-27T14:43:14Z)
• Leveraging Structured Pruning of Convolutional Neural Networks [2.2320512724449233]
  本稿では,任意の構造化プルーニングマスクを用いて,これらの問題に遭遇しないネットワークを生成する手法を提案する。 我々は, 畳み込み畳み込みニューラルネットワークによる, 組込みハードウェア上でのエネルギー消費と推定時間の利得を示す。
  論文  参考訳（メタデータ） (2022-06-13T15:29:12Z)
• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• Instant Neural Graphics Primitives with a Multiresolution Hash Encoding [67.33850633281803]
  品質を犠牲にすることなく、より小さなネットワークを使用できる汎用的な新しい入力符号化を提案する。 小さなニューラルネットワークは、勾配降下によって値が最適化された訓練可能な特徴ベクトルの多分解能ハッシュテーブルによって拡張される。 数桁の高速化を実現し、高品質なニューラルネットワークプリミティブを数秒でトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-01-16T07:22:47Z)
• Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
  本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。 実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。 ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
  論文  参考訳（メタデータ） (2021-03-15T12:54:26Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• Knapsack Pruning with Inner Distillation [11.04321604965426]
  そこで本研究では,プルーンドネットワークの最終精度を最適化する新しいプルーニング手法を提案する。 ネットワークの高レベル構造を維持しながら、ネットワークチャネルを熟考する。 提案手法は,ResNetバックボーンを用いたImageNet,CIFAR-10,CIFAR-100における最先端のプルーニング結果をもたらす。
  論文  参考訳（メタデータ） (2020-02-19T16:04:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。