論文の概要: Back-and-Forth prediction for deep tensor compression
- arxiv url: http://arxiv.org/abs/2002.07036v1
- Date: Fri, 14 Feb 2020 01:32:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 05:15:19.288156
- Title: Back-and-Forth prediction for deep tensor compression
- Title（参考訳）: 深部テンソル圧縮のバック・アンド・フォース予測
- Authors: Hyomin Choi and Robert A. Cohen and Ivan V. Bajic
- Abstract要約: 本稿では,深い特徴テンソルのためのバック・アンド・フォース(BaF)予測手法を提案する。
ネットワークの精度の低下を1%未満と2%に抑えながら, テンソルサイズの62%と75%の削減を実現した。
- 参考スコア（独自算出の注目度）: 37.663819283148854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent AI applications such as Collaborative Intelligence with neural
networks involve transferring deep feature tensors between various computing
devices. This necessitates tensor compression in order to optimize the usage of
bandwidth-constrained channels between devices. In this paper we present a
prediction scheme called Back-and-Forth (BaF) prediction, developed for deep
feature tensors, which allows us to dramatically reduce tensor size and improve
its compressibility. Our experiments with a state-of-the-art object detector
demonstrate that the proposed method allows us to significantly reduce the
number of bits needed for compressing feature tensors extracted from deep
within the model, with negligible degradation of the detection performance and
without requiring any retraining of the network weights. We achieve a 62% and
75% reduction in tensor size while keeping the loss in accuracy of the network
to less than 1% and 2%, respectively.
- Abstract（参考訳）: ニューラルネットワークとコラボレーティブインテリジェンスのような最近のAIアプリケーションは、様々なコンピュータデバイス間で深い特徴テンソルを転送する。
これにより、デバイス間の帯域制限のあるチャネルの使用を最適化するためにテンソル圧縮が必要である。
本稿では,深い特徴量テンソルに対して開発したback-and-forth (baf) 予測法を提案する。
提案手法は, モデル内の深部から抽出した特徴テンソルの圧縮に必要なビット数を, ネットワーク重みの調整を必要とせず, 検出性能を劣化させることなく, 大幅に削減できることを示す。
ネットワークの精度の低下を1%未満と2%に抑えながら, テンソルサイズの62%と75%の削減を実現した。
関連論文リスト
- A Theoretical Understanding of Neural Network Compression from Sparse
Linear Approximation [37.525277809849776]
モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。
圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。
また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-11T20:10:35Z) - Low-rank Tensor Decomposition for Compression of Convolutional Neural
Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。
圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。
ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文 参考訳（メタデータ） (2021-12-07T13:41:51Z) - Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。
我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
論文 参考訳（メタデータ） (2021-11-02T15:55:07Z) - Compression-aware Projection with Greedy Dimension Reduction for
Convolutional Neural Network Activations [3.6188659868203388]
分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。
提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
論文 参考訳（メタデータ） (2021-10-17T14:02:02Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep
Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。
DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。
大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文 参考訳（メタデータ） (2021-02-05T11:31:24Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳（メタデータ） (2021-01-26T13:06:00Z) - Tensor-Train Networks for Learning Predictive Modeling of
Multidimensional Data [0.0]
有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。
本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。
TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2021-01-22T16:14:38Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。