論文の概要: Reduced storage direct tensor ring decomposition for convolutional neural networks compression

• arxiv url: http://arxiv.org/abs/2405.10802v2
• Date: Mon, 5 Aug 2024 10:20:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 20:48:25.353626
• Title: Reduced storage direct tensor ring decomposition for convolutional neural networks compression
• Title（参考訳）: 畳み込みニューラルネットワーク圧縮のためのストレージ直接テンソルリング分解
• Authors: Mateusz Gabor, Rafał Zdunek,
• Abstract要約: 記憶率の低下した直接テンソルリング分解(RSDTR)に基づく新しい低ランクCNN圧縮法を提案する。 提案手法は, 円モードの順応性が高く, パラメータが大きいこと, FLOPS圧縮率が高いことが特徴である。 CIFAR-10とImageNetデータセットで実施された実験は、他の最先端のCNN圧縮アプローチと比較して、RDDTRの効率を明らかに示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Convolutional neural networks (CNNs) are among the most widely used machine learning models for computer vision tasks, such as image classification. To improve the efficiency of CNNs, many CNNs compressing approaches have been developed. Low-rank methods approximate the original convolutional kernel with a sequence of smaller convolutional kernels, which leads to reduced storage and time complexities. In this study, we propose a novel low-rank CNNs compression method that is based on reduced storage direct tensor ring decomposition (RSDTR). The proposed method offers a higher circular mode permutation flexibility, and it is characterized by large parameter and FLOPS compression rates, while preserving a good classification accuracy of the compressed network. The experiments, performed on the CIFAR-10 and ImageNet datasets, clearly demonstrate the efficiency of RSDTR in comparison to other state-of-the-art CNNs compression approaches.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、画像分類などのコンピュータビジョンタスクにおいて最も広く使われている機械学習モデルの一つである。 CNNの効率を改善するために、多くのCNN圧縮手法が開発されている。 低ランク法は、元の畳み込みカーネルとより小さな畳み込みカーネルのシーケンスを近似し、ストレージと時間の複雑さを減少させる。 本研究では,記憶率の低下した直接テンソルリング分解(RSDTR)に基づく,新しい低ランクCNN圧縮手法を提案する。 提案手法は,圧縮ネットワークの分類精度を良好に保ちながら,大きなパラメータとFLOPS圧縮率を特徴とする,高い円モード置換柔軟性を提供する。 CIFAR-10とImageNetデータセットで実施された実験は、他の最先端のCNN圧縮アプローチと比較して、RSDTRの効率を明らかに示している。

関連論文リスト

• Frequency-Aware Re-Parameterization for Over-Fitting Based Image Compression [12.725194101094711]
  オーバーフィットベースの画像圧縮は、圧縮のための重み付け圧縮と実用のための高速収束を必要とする。 本稿では、重みを減らし収束を加速したCNNを訓練するための簡易な再パラメータ化法を提案する。 提案手法は, HEIF上に最大-46.12%のBDレートを達成し, 200回しか繰り返しない画像復元実験により検証した。
  論文  参考訳（メタデータ） (2023-10-12T06:32:12Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• Joint Matrix Decomposition for Deep Convolutional Neural Networks Compression [5.083621265568845]
  多数のパラメータを持つディープ畳み込みニューラルネットワーク(CNN)は膨大な計算資源を必要とする。 そのため,近年CNNの圧縮に分解法が用いられている。 我々は,CNNを圧縮し,関節行列分解による性能劣化を軽減することを提案する。
  論文  参考訳（メタデータ） (2021-07-09T12:32:10Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。