Fugu-MT 論文翻訳(概要): SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification

論文の概要: SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification

arxiv url: http://arxiv.org/abs/2208.04588v1
Date: Tue, 9 Aug 2022 08:05:19 GMT
ステータス: 処理完了
システム内更新日: 2022-08-10 12:10:48.932783
Title: SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification
Title（参考訳）: SBPF:画像分類に基づく畳み込みニューラルネットワークのための感性に基づくプルーニングフレームワーク
Authors: Yiheng Lu, Maoguo Gong, Wei Zhao, Kaiyuan Feng, and Hao Li
Abstract要約: 画像分類において、畳み込みニューラルネットワーク(CNN)を圧縮するためにプルーニング技術が使用される。推定精度の観点から各層の重要性を評価するための感度に基づく手法を提案する。
参考スコア（独自算出の注目度）: 23.271501988351268
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Pruning techniques are used comprehensively to compress convolutional neural networks (CNNs) on image classification. However, the majority of pruning methods require a well pre-trained model to provide useful supporting parameters, such as C1-norm, BatchNorm value and gradient information, which may lead to inconsistency of filter evaluation if the parameters of the pre-trained model are not well optimized. Therefore, we propose a sensitiveness based method to evaluate the importance of each layer from the perspective of inference accuracy by adding extra damage for the original model. Because the performance of the accuracy is determined by the distribution of parameters across all layers rather than individual parameter, the sensitiveness based method will be robust to update of parameters. Namely, we can obtain similar importance evaluation of each convolutional layer between the imperfect-trained and fully trained models. For VGG-16 on CIFAR-10, even when the original model is only trained with 50 epochs, we can get same evaluation of layer importance as the results when the model is trained fully. Then we will remove filters proportional from each layer by the quantified sensitiveness. Our sensitiveness based pruning framework is verified efficiently on VGG-16, a customized Conv-4 and ResNet-18 with CIFAR-10, MNIST and CIFAR-100, respectively.
Abstract（参考訳）: 画像分類において、畳み込みニューラルネットワーク(CNN)の圧縮に包括的に使用される。しかし、プルーニング方法はc1ノルム、バッチノルム値、勾配情報などの有用なパラメータを提供するために十分に訓練されたモデルを必要とするため、事前学習されたモデルのパラメータが十分に最適化されていない場合、フィルタ評価の一貫性が低下する可能性がある。そこで本研究では,各層の重要性を推定精度の観点から評価するための感度に基づく手法を提案する。精度は個々のパラメータではなく、各レイヤにまたがるパラメータの分布によって決定されるので、感度に基づく手法はパラメータの更新に堅牢である。すなわち、不完全学習モデルと完全訓練モデルの間で、各畳み込み層の同様の重要性評価を得ることができる。 CIFAR-10上のVGG-16では、原モデルが50エポックでのみトレーニングされた場合でも、モデルを完全にトレーニングした場合と同等のレイヤー重要度を評価することができる。次に、定量化感度によって各層から比例するフィルタを除去する。 CIFAR-10, MNIST, CIFAR-100でカスタマイズしたConv-4, ResNet-18のVGG-16上で, 感度ベースプルーニングフレームワークの有効性を検証した。

関連論文リスト

MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
論文参考訳（メタデータ） (2024-08-24T05:54:47Z)
Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文参考訳（メタデータ） (2024-06-17T12:24:45Z)
Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文参考訳（メタデータ） (2022-11-16T21:55:05Z)
Pruning by Active Attention Manipulation [49.61707925611295]
CNNのフィルタプルーニングは典型的には、CNNのフィルタ重みやアクティベーションマップに離散マスクを適用することで達成される。ここでは、アクティブアテンション操作(PAAM)によるプルーニング(pruning)という新しいフィルタ強調表示概念を提案する。 PAAMはフィルタ重みからアナログフィルタスコアを学習し、そのスコアの加算項によって正規化されたコスト関数を最適化する。
論文参考訳（メタデータ） (2022-10-20T09:17:02Z)
Entropy Induced Pruning Framework for Convolutional Neural Networks [30.89967076857665]
本稿では,各フィルタの重要性を測定するために,平均フィルタ情報エントロピー (AFIE) という指標を提案する。提案手法は,元のモデルが十分に訓練されているかどうかに関わらず,各フィルタの安定性を評価できる。
論文参考訳（メタデータ） (2022-08-13T14:35:08Z)
(Certified!!) Adversarial Robustness for Free! [116.6052628829344]
逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
論文参考訳（メタデータ） (2022-06-21T17:27:27Z)
A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes [58.633364000258645]
このデータセットをRIVAL10と呼びます。本研究では,前景,背景,属性の騒音劣化に対する幅広いモデルの感度を評価する。本稿では,多種多様な最先端アーキテクチャ (ResNets, Transformers) とトレーニング手順 (CLIP, SimCLR, DeiT, Adversarial Training) について考察する。
論文参考訳（メタデータ） (2022-01-26T06:31:28Z)
Fire Together Wire Together: A Dynamic Pruning Approach with Self-Supervised Mask Prediction [12.86325214182021]
動的モデルプルーニング(Dynamic Model pruning)は、デプロイ中の各入力サンプルに対する異なるサブネットワークの推測を可能にする、最近の方法である。現在の動的手法は、間隔損失を誘導することによって正規化を通じて連続的なチャネルゲーティングを学ぶことに依存している。我々は,CIFARおよびImageNet上で,VGG,ResNet,MobileNetなどのニューラルネットワークの実験を行った。
論文参考訳（メタデータ） (2021-10-15T17:39:53Z)
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文参考訳（メタデータ） (2021-08-06T00:04:02Z)
Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文参考訳（メタデータ） (2021-01-20T06:18:38Z)
An Artificial Intelligence System for Combined Fruit Detection and Georeferencing, Using RTK-Based Perspective Projection in Drone Imagery [0.0]
この研究では、商業用果樹園の空中ドローン画像からリンゴを検出してカウントする人工知能(AI)システムを紹介します。計算コストを低減するため、ネットワークの新たな前駆的段階は、個々の木の切り抜き画像に生画像を前処理するように設計されている。ユニークな地理空間識別子は、遠近法投影モデルを用いてこれらに割り当てられる。実験により、より高速なR-CNNの文献に見ることのないk平均クラスタリング手法が、校正されたmAPの最も重要な改善をもたらすことが示された。
論文参考訳（メタデータ） (2021-01-01T23:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。