論文の概要: HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression

• arxiv url: http://arxiv.org/abs/2002.12663v1
• Date: Fri, 28 Feb 2020 11:37:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 01:18:55.189675
• Title: HOTCAKE: Higher Order Tucker Articulated Kernels for Deeper CNN Compression
• Title（参考訳）: HOTCAKE:より深いCNN圧縮のための高次タッカーアーティキュレートカーネル
• Authors: Rui Lin, Ching-Yun Ko, Zhuolun He, Cong Chen, Yuan Cheng, Hao Yu, Graziano Chesi, Ngai Wong
• Abstract要約: 低ランクテンソル分解は畳み込みニューラルネットワーク(CNN)を圧縮する強力なツールである 本稿では,入力チャネル分解,誘導タッカーランク選択,高次タッカー分解,微調整の4段階からなる一般化高次タッカーArticulated Kernelsスキームを提案する。 実験によると、HOTCAKEはプレ圧縮モデルでも圧縮でき、最先端の軽量ネットワークを作成できる。
• 参考スコア（独自算出の注目度）: 21.418227281838934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emerging edge computing has promoted immense interests in compacting a neural network without sacrificing much accuracy. In this regard, low-rank tensor decomposition constitutes a powerful tool to compress convolutional neural networks (CNNs) by decomposing the 4-way kernel tensor into multi-stage smaller ones. Building on top of Tucker-2 decomposition, we propose a generalized Higher Order Tucker Articulated Kernels (HOTCAKE) scheme comprising four steps: input channel decomposition, guided Tucker rank selection, higher order Tucker decomposition and fine-tuning. By subjecting each CONV layer to HOTCAKE, a highly compressed CNN model with graceful accuracy trade-off is obtained. Experiments show HOTCAKE can compress even pre-compressed models and produce state-of-the-art lightweight networks.
• Abstract（参考訳）: エッジコンピューティングは、多くの精度を犠牲にすることなく、ニューラルネットワークをコンパクト化するという大きな関心を喚起している。 この点において、低ランクテンソル分解は、畳み込みニューラルネットワーク(cnns)を4方向の核テンソルを多段小さいものに分解して圧縮する強力なツールである。 本研究では,タッカー2分解に基づいて,入力チャネル分解,誘導タッカーランク選択,高次タッカー分解,微調整の4段階からなる一般化高次タッカーArticulated Kernel(HOTCAKE)方式を提案する。 各CONV層をHOTCAKEに印加することにより、高精度なトレードオフを有する高圧縮CNNモデルを得る。 実験によると、HOTCAKEはプレ圧縮モデルさえ圧縮でき、最先端の軽量ネットワークを作れる。

関連論文リスト

• Tensor network compressibility of convolutional models [0.0]
  我々は,CNNの畳み込みカーネル(拡張されていない)が,その精度に与える影響を評価する。 カーネルはしばしばいくつかのカットに沿って切り替わることができ、カーネルノルムは著しく低下するが、分類精度は低下しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-21T13:12:33Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• A Unifying Tensor View for Lightweight CNNs [6.787519168657286]
  この研究は、3D形状のカーネルテンソルを様々なスライスワイズとランク1分解にリンクすることで、新しい視点を考案した。 最新のShiftNetへの新たなリンクが確立され、1%の精度で50%近い圧縮を達成した最初のシフトプルーニング層が導入された。
  論文  参考訳（メタデータ） (2023-12-15T16:30:59Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs [11.01184134911405]
  リカレントニューラルネットワーク(RNN)は、自然言語処理やビデオ認識などのシーケンシャルデータに指向するタスクにおいて強力である。 本稿では,Kronecker CANDECOMP/PARAFAC(KCP)分解に基づく圧縮RNNについて考察する。
  論文  参考訳（メタデータ） (2020-08-21T07:29:45Z)
• Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
  本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。 HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
  論文  参考訳（メタデータ） (2020-06-29T11:16:22Z)
• Kernel Quantization for Efficient Network Compression [59.55192551370948]
  Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。 重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。 ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
  論文  参考訳（メタデータ） (2020-03-11T08:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。