論文の概要: Neural Network Pruning for Real-time Polyp Segmentation

• arxiv url: http://arxiv.org/abs/2306.13203v1
• Date: Thu, 22 Jun 2023 21:03:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 14:17:11.052477
• Title: Neural Network Pruning for Real-time Polyp Segmentation
• Title（参考訳）: リアルタイムポリープ分割のためのニューラルネットワークプルーニング
• Authors: Suman Sapkota, Pranav Poudel, Sudarshan Regmi, Bibek Panthi, Binod Bhattarai
• Abstract要約: ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。 畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
• 参考スコア（独自算出の注目度）: 8.08470060885395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computer-assisted treatment has emerged as a viable application of medical imaging, owing to the efficacy of deep learning models. Real-time inference speed remains a key requirement for such applications to help medical personnel. Even though there generally exists a trade-off between performance and model size, impressive efforts have been made to retain near-original performance by compromising model size. Neural network pruning has emerged as an exciting area that aims to eliminate redundant parameters to make the inference faster. In this study, we show an application of neural network pruning in polyp segmentation. We compute the importance score of convolutional filters and remove the filters having the least scores, which to some value of pruning does not degrade the performance. For computing the importance score, we use the Taylor First Order (TaylorFO) approximation of the change in network output for the removal of certain filters. Specifically, we employ a gradient-normalized backpropagation for the computation of the importance score. Through experiments in the polyp datasets, we validate that our approach can significantly reduce the parameter count and FLOPs retaining similar performance.
• Abstract（参考訳）: 深層学習モデルの有効性のため、コンピュータ支援治療が医療画像の有効な応用として現れてきた。 医療従事者を支援するために、リアルタイムな推論速度が重要な要件である。 一般的には、パフォーマンスとモデルサイズの間にトレードオフが存在するが、モデルサイズを妥協することで、ネイティブに近いパフォーマンスを維持するための素晴らしい努力がなされている。 ニューラルネットワークのプルーニングは、余分なパラメータを排除して推論を高速化することを目的としたエキサイティングな領域として登場した。 本研究では,ポリプセグメンテーションにおけるニューラルネットワークプルーニングの応用について述べる。 畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。 重要度スコアを計算するために,taylorfo (taylorfo first order) を用いて,フィルタ除去のためのネットワーク出力の変化を近似する。 具体的には,重要度スコアの計算に勾配正規化バックプロパゲーションを用いる。 ポリプデータセットの実験により,本手法がパラメータ数とFLOPを著しく低減し,同様の性能を維持できることを確認した。

関連論文リスト

• RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
  RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
  論文  参考訳（メタデータ） (2024-11-10T13:35:10Z)
• Class-Aware Pruning for Efficient Neural Networks [5.918784236241883]
  ディープニューラルネットワーク(DNN)の実行における計算コスト削減のために、プルーニングが導入されている。 本稿では,DNNを圧縮するクラスアウェアプルーニング手法を提案する。 実験結果から, このクラス認識プルーニング技術は, 重量とFLOPを著しく削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-10T13:07:54Z)
• Accelerating Convolutional Neural Network Pruning via Spatial Aura Entropy [0.0]
  プルーニング(pruning)は、畳み込みニューラルネットワーク(CNN)モデルの計算複雑性とメモリフットプリントを低減する一般的なテクニックである。 MI計算の既存の手法は、高い計算コストとノイズに対する感度に悩まされ、最適プルーニング性能が低下する。 空間オーラエントロピーを用いたCNNプルーニングのためのMI計算の改良手法を提案する。
  論文  参考訳（メタデータ） (2023-12-08T09:43:49Z)
• Pruning Convolutional Filters via Reinforcement Learning with Entropy Minimization [0.0]
  本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。 提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
  論文  参考訳（メタデータ） (2023-12-08T09:34:57Z)
• Deep Multi-Threshold Spiking-UNet for Image Processing [51.88730892920031]
  本稿では,SNN(Spike Neural Networks)とU-Netアーキテクチャを組み合わせた,画像処理のためのスパイキング-UNetの概念を紹介する。 効率的なスパイキング-UNetを実現するためには,スパイクによる高忠実度情報伝播の確保と,効果的なトレーニング戦略の策定という2つの課題に直面する。 実験の結果,画像のセグメンテーションとデノイングにおいて,スパイキングUNetは非スパイキングと同等の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2023-07-20T16:00:19Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
  ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
  論文  参考訳（メタデータ） (2021-03-04T13:22:16Z)
• Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning [97.28695683236981]
  さらなる勾配更新により、現在の値ネットワークの表現性が低下する。 AtariとGymのベンチマークでは、オフラインとオンラインのRL設定の両方でこの現象を実証する。
  論文  参考訳（メタデータ） (2020-10-27T17:55:16Z)
• SCOP: Scientific Control for Reliable Neural Network Pruning [127.20073865874636]
  本稿では,科学的制御を設定することにより,信頼性の高いニューラルネットワークプルーニングアルゴリズムを提案する。 冗長フィルタは、異なる特徴の逆数過程において発見できる。 提案手法では,ResNet-101のパラメータ57.8%,FLOP60.2%を削減できる。
  論文  参考訳（メタデータ） (2020-10-21T03:02:01Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。