論文の概要: Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing

• arxiv url: http://arxiv.org/abs/2309.17211v1
• Date: Fri, 29 Sep 2023 13:09:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 13:56:47.456018
• Title: Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing
• Title（参考訳）: 局所感性ハッシュを用いたCNNのインスタント複雑度低減
• Authors: Lukas Meiner, Jens Mehnert, Alexandru Paul Condurache
• Abstract要約: 本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
• 参考スコア（独自算出の注目度）: 50.79602839359522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce the computational cost of convolutional neural networks (CNNs) for usage on resource-constrained devices, structured pruning approaches have shown promising results, drastically reducing floating-point operations (FLOPs) without substantial drops in accuracy. However, most recent methods require fine-tuning or specific training procedures to achieve a reasonable trade-off between retained accuracy and reduction in FLOPs. This introduces additional cost in the form of computational overhead and requires training data to be available. To this end, we propose HASTE (Hashing for Tractable Efficiency), a parameter-free and data-free module that acts as a plug-and-play replacement for any regular convolution module. It instantly reduces the network's test-time inference cost without requiring any training or fine-tuning. We are able to drastically compress latent feature maps without sacrificing much accuracy by using locality-sensitive hashing (LSH) to detect redundancies in the channel dimension. Similar channels are aggregated to reduce the input and filter depth simultaneously, allowing for cheaper convolutions. We demonstrate our approach on the popular vision benchmarks CIFAR-10 and ImageNet. In particular, we are able to instantly drop 46.72% of FLOPs while only losing 1.25% accuracy by just swapping the convolution modules in a ResNet34 on CIFAR-10 for our HASTE module.
• Abstract（参考訳）: 資源制約されたデバイスで使用する畳み込みニューラルネットワーク(CNN)の計算コストを削減するため、構造化プルーニング手法は有望な結果を示し、精度を大幅に低下させることなく浮動小数点演算(FLOP)を大幅に削減した。 しかし、最近の手法では、FLOPの精度と縮小の間の適切なトレードオフを達成するために、微調整や特定の訓練手順が必要である。 これにより、計算オーバーヘッドという形で追加コストが発生し、トレーニングデータが利用可能になる必要がある。 そこで我々は,通常の畳み込みモジュールのプラグアンドプレイの代替として機能するパラメータフリーでデータフリーなモジュールであるhashing for tractable efficiencyを提案する。 これにより、トレーニングや微調整を必要とせずに、ネットワークのテスト時間推論コストを即座に削減できる。 チャネル次元の冗長性を検出するためにLSH(Locality-sensitive hashing)を用いることにより,遅延特徴写像を高精度に圧縮することができる。 同様のチャネルを集約して入力とフィルタの深さを同時に減らし、より安価な畳み込みを可能にする。 我々は,CIFAR-10 と ImageNet のビジョンベンチマークに対するアプローチを実証する。 特に、hasteモジュールのresnet34 on cifar-10で畳み込みモジュールを交換するだけで、フロップの46.72%を即座に落とすことができるが、1.25%の精度は失われる。

関連論文リスト

• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Neural Network Pruning by Cooperative Coevolution [16.0753044050118]
  協調的共進化による新しいフィルタプルーニングアルゴリズムCCEPを提案する。 CCEPは分割・対数戦略により刈り取り空間を縮小する。 実験により,CCEPは最先端の刈り取り法と競合する性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-04-12T09:06:38Z)
• GDP: Stabilized Neural Network Pruning via Gates with Differentiable Polarization [84.57695474130273]
  ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。 GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。 CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2021-09-06T03:17:10Z)
• Structured Directional Pruning via Perturbation Orthogonal Projection [13.704348351073147]
  より合理的なアプローチは、NISTによって発見された平坦な最小の谷に沿ってスパース最小化器を見つけることである。 平坦な最小の谷に摂動を投射する構造的指向性プルーニングを提案する。 実験の結果,VGG16では93.97%,CIFAR-10タスクでは再トレーニングを行なわず,最先端のプルーニング精度が得られた。
  論文  参考訳（メタデータ） (2021-07-12T11:35:47Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
  深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。 それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
  論文  参考訳（メタデータ） (2020-10-03T01:51:06Z)
• AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
  本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。 我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
  論文  参考訳（メタデータ） (2020-07-14T09:07:29Z)
• Enabling On-Device CNN Training by Self-Supervised Instance Filtering and Error Map Pruning [17.272561332310303]
  この研究は、トレーニング時の計算コストを削減し、デバイス上での畳み込みニューラルネットワーク(CNN)のトレーニングを可能にすることを目的としている。 CNNモデルは、通常高性能コンピュータ上で訓練され、訓練されたモデルのみがエッジデバイスにデプロイされる。
  論文  参考訳（メタデータ） (2020-07-07T05:52:37Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。