論文の概要: Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations

• arxiv url: http://arxiv.org/abs/2110.08828v1
• Date: Sun, 17 Oct 2021 14:02:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 10:39:57.372721
• Title: Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
• Title（参考訳）: 畳み込みニューラルネットワークアクティベーションのためのグリーディ次元縮小による圧縮・アウェア射影
• Authors: Yu-Shan Tai, Chieh-Fang Teng, Cheng-Yang Chang, and An-Yeu Wu
• Abstract要約: 分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。 提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
• 参考スコア（独自算出の注目度）: 3.6188659868203388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional neural networks (CNNs) achieve remarkable performance in a wide range of fields. However, intensive memory access of activations introduces considerable energy consumption, impeding deployment of CNNs on resourceconstrained edge devices. Existing works in activation compression propose to transform feature maps for higher compressibility, thus enabling dimension reduction. Nevertheless, in the case of aggressive dimension reduction, these methods lead to severe accuracy drop. To improve the trade-off between classification accuracy and compression ratio, we propose a compression-aware projection system, which employs a learnable projection to compensate for the reconstruction loss. In addition, a greedy selection metric is introduced to optimize the layer-wise compression ratio allocation by considering both accuracy and #bits reduction simultaneously. Our test results show that the proposed methods effectively reduce 2.91x~5.97x memory access with negligible accuracy drop on MobileNetV2/ResNet18/VGG16.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は幅広い分野において優れた性能を発揮する。 しかし、アクティベーションの集中的なメモリアクセスはかなりのエネルギー消費をもたらし、リソース制約されたエッジデバイスへのcnnのデプロイを妨げる。 アクティベーション圧縮の既存の作業は、高い圧縮性のために特徴マップを変換し、次元の縮小を可能にする。 にもかかわらず、攻撃的な次元縮小の場合、これらの手法は厳しい精度低下をもたらす。 分類精度と圧縮比のトレードオフを改善するために,復元損失を補償するために学習可能な投影を用いる圧縮認識投影システムを提案する。 また、精度と#bits低減を同時に考慮し、層間圧縮比の割り当てを最適化するために、グリーディ選択メトリックを導入する。 提案手法は,MobileNetV2/ResNet18/VGG16の精度低下で2.91x〜5.97xのメモリアクセスを効果的に削減できることを示す。

関連論文リスト

• SPC-NeRF: Spatial Predictive Compression for Voxel Based Radiance Field [41.33347056627581]
  本稿では,EVG圧縮に空間予測符号化を適用した新しいフレームワークであるSPC-NeRFを提案する。 我々の手法は最先端のVQRFに比べて32%のビット節約が可能である。
  論文  参考訳（メタデータ） (2024-02-26T07:40:45Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Bandwidth-efficient Inference for Neural Image Compression [26.87198174202502]
  本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。 既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。
  論文  参考訳（メタデータ） (2023-09-06T09:31:37Z)
• DIVISION: Memory Efficient Training via Dual Activation Precision [60.153754740511864]
  最先端の研究は、量子化ビット幅の探索とトレーニングを組み合わせることで、手順を複雑にし、透明性を損なう。 そこで本研究では,DNNトレーニングを簡易かつ効果的に圧縮する手法を提案する。 実験結果によると、DIVISIONは10倍以上のアクティベーションマップの圧縮や、モデルの精度を損なうことなく、競争訓練のスループットなど、最先端の手法よりも総合的な性能を示している。
  論文  参考訳（メタデータ） (2022-08-05T03:15:28Z)
• Learnable Mixed-precision and Dimension Reduction Co-design for Low-storage Activation [9.838135675969026]
  深層畳み込みニューラルネットワーク(CNN)は多くの眼球運動の結果を得た。 リソース制約のあるエッジデバイスにCNNをデプロイすることは、推論中に大きな中間データを送信するためのメモリ帯域幅の制限によって制限される。 チャネルをグループに分割し,その重要度に応じて圧縮ポリシーを割り当てる,学習可能な混合精度・次元縮小協調設計システムを提案する。
  論文  参考訳（メタデータ） (2022-07-16T12:53:52Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Back-and-Forth prediction for deep tensor compression [37.663819283148854]
  本稿では,深い特徴テンソルのためのバック・アンド・フォース(BaF)予測手法を提案する。 ネットワークの精度の低下を1%未満と2%に抑えながら, テンソルサイズの62%と75%の削減を実現した。
  論文  参考訳（メタデータ） (2020-02-14T01:32:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。