論文の概要: Self Similarity Matrix based CNN Filter Pruning

• arxiv url: http://arxiv.org/abs/2211.01814v1
• Date: Thu, 3 Nov 2022 13:47:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 12:41:18.699723
• Title: Self Similarity Matrix based CNN Filter Pruning
• Title（参考訳）: 自己類似行列に基づくCNNフィルタプルーニング
• Authors: S Rakshith, Jayesh Rajkumar Vachhani, Sourabh Vasant Gothe, and Rishabh Khurana
• Abstract要約: 2次元CNNフィルタから計算した自己相似行列(SSM)の助けを借りてCNNモデルプルーニングの問題に取り組む。 出力に類似したアクティベーションマップに寄与する冗長フィルタのランク付けとプーン化のための2つの新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 1.6799377888527687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, most of the deep learning solutions are targeted to be deployed in mobile devices. This makes the need for development of lightweight models all the more imminent. Another solution is to optimize and prune regular deep learning models. In this paper, we tackle the problem of CNN model pruning with the help of Self-Similarity Matrix (SSM) computed from the 2D CNN filters. We propose two novel algorithms to rank and prune redundant filters which contribute similar activation maps to the output. One of the key features of our method is that there is no need of finetuning after training the model. Both the training and pruning process is completed simultaneously. We benchmark our method on two of the most popular CNN models - ResNet and VGG and record their performance on the CIFAR-10 dataset.
• Abstract（参考訳）: 近年、ディープラーニングソリューションのほとんどは、モバイルデバイスにデプロイされることを目標としています。 これにより、軽量モデルの開発がより差し迫ったものになる。 もうひとつのソリューションは、通常のディープラーニングモデルを最適化してpruneすることです。 本稿では,2次元CNNフィルタから計算した自己相似行列(SSM)を用いて,CNNモデルプルーニングの問題に取り組む。 出力に類似したアクティベーションマップに寄与する冗長フィルタをランク付けする2つの新しいアルゴリズムを提案する。 提案手法の重要な特徴の1つは,モデルのトレーニング後に微調整を行う必要がないことである。 訓練と刈り取りのプロセスが同時に完了する。 我々は,最も人気のあるCNNモデルであるResNetとVGGをベンチマークし,その性能をCIFAR-10データセットで記録する。

関連論文リスト

• Truncated Consistency Models [57.50243901368328]
  トレーニング一貫性モデルは、PF ODE 軌道に沿ったすべての中間点を対応するエンドポイントにマッピングする学習を必要とする。 このトレーニングパラダイムが一貫性モデルの1ステップ生成性能を制限することを実証的に見出した。 整合性関数の新しいパラメータ化と2段階の訓練手順を提案し,時間外学習が崩壊することを防ぐ。
  論文  参考訳（メタデータ） (2024-10-18T22:38:08Z)
• Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
  我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。 生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
  論文  参考訳（メタデータ） (2023-11-08T03:18:49Z)
• A Lightweight CNN-Transformer Model for Learning Traveling Salesman Problems [0.0]
  CNN-Transformerモデルは、CNN埋め込み層を用いて入力データから空間的特徴をよりよく学習することができる。 提案モデルは,実世界のデータセットで最高の性能を示す。
  論文  参考訳（メタデータ） (2023-05-03T04:28:10Z)
• An Acceleration Method Based on Deep Learning and Multilinear Feature Space [0.0]
  本稿では,大規模CNNアーキテクチャからの学習を伝達するために,Multilinear Feature Space (MFS)法に基づく代替手法を提案する。 提案手法はCNNを用いて特徴マップを生成するが,複雑性低減手法として機能しない。 AMFCと呼ばれる本手法では,事前学習したCNNからの移動学習を用いて,新しいサンプル画像の分類時間を最小限に抑える。
  論文  参考訳（メタデータ） (2021-10-16T23:49:12Z)
• Learning from Images: Proactive Caching with Parallel Convolutional Neural Networks [94.85780721466816]
  本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。 モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。 数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
  論文  参考訳（メタデータ） (2021-08-15T21:32:47Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• L2PF -- Learning to Prune Faster [57.32153461504626]
  本稿では,cnnの冗長フィルタを離散的に学習するマルチタスクのtry-and-learn法と,レイヤの微調整期間の連続的動作を提案する。 ResNet20では、最小精度で圧縮比3.84xを達成しました。 最先端プルーニング法と比較して,GPU時間を1.71倍に短縮した。
  論文  参考訳（メタデータ） (2021-01-07T18:13:37Z)
• When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity [0.0]
  本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。 現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。 畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
  論文  参考訳（メタデータ） (2020-11-12T10:13:48Z)
• Approximated Bilinear Modules for Temporal Modeling [116.6506871576514]
  CNNの2層は補助ブランチサンプリングを追加することで、時間的双線形モジュールに変換できる。 我々のモデルは、事前トレーニングなしで、Something v1とv2データセットの最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2020-07-25T09:07:35Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)
• CNNTOP: a CNN-based Trajectory Owner Prediction Method [1.3793594968500604]
  軌道所有者予測は、パーソナライズされたレコメンデーションや都市計画など、多くの応用の基盤となっている。 既存の手法は主にRNNを用いて軌道を意味的にモデル化する。 CNNに基づくトラジェクトリオーナ予測(CNNTOP)手法を提案する。
  論文  参考訳（メタデータ） (2020-01-05T07:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。