論文の概要: Fast Lossless Neural Compression with Integer-Only Discrete Flows
- arxiv url: http://arxiv.org/abs/2206.08869v1
- Date: Fri, 17 Jun 2022 16:15:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 13:34:33.057610
- Title: Fast Lossless Neural Compression with Integer-Only Discrete Flows
- Title（参考訳）: Integer-Only Discrete Flowを用いた高速ロスレスニューラル圧縮
- Authors: Siyu Wang, Jianfei Chen, Chongxuan Li, Jun Zhu, Bo Zhang
- Abstract要約: 整数のみの算術演算を用いた効率的なニューラル圧縮機専用離散フロー(IODF)を提案する。
我々の研究は、離散確率変数間の可逆変換からなる整数離散フローに基づいて構築されている。
- 参考スコア（独自算出の注目度）: 38.94765769750319
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: By applying entropy codecs with learned data distributions, neural
compressors have significantly outperformed traditional codecs in terms of
compression ratio. However, the high inference latency of neural networks
hinders the deployment of neural compressors in practical applications. In this
work, we propose Integer-only Discrete Flows (IODF), an efficient neural
compressor with integer-only arithmetic. Our work is built upon integer
discrete flows, which consists of invertible transformations between discrete
random variables. We propose efficient invertible transformations with
integer-only arithmetic based on 8-bit quantization. Our invertible
transformation is equipped with learnable binary gates to remove redundant
filters during inference. We deploy IODF with TensorRT on GPUs, achieving 10x
inference speedup compared to the fastest existing neural compressors, while
retaining the high compression rates on ImageNet32 and ImageNet64.
- Abstract（参考訳）: エントロピーコーデックを学習データ分布に適用することにより、神経圧縮装置は従来のコーデックを圧縮比で大幅に上回っている。
しかし、ニューラルネットワークの高推論レイテンシは、実用的な応用におけるニューラル圧縮機の展開を妨げる。
本研究では整数のみの算術演算を持つ効率的なニューラル圧縮機であるInteger-only Discrete Flows (IODF)を提案する。
我々の研究は、離散確率変数間の可逆変換からなる整数離散フローに基づいている。
8ビット量子化に基づく整数のみ演算を用いた効率的な可逆変換を提案する。
我々の可逆変換は、推論中に冗長なフィルタを取り除くための学習可能なバイナリゲートを備えている。
gpu上にtensorrtを使用したiodfをデプロイし,既存のニューラルネットワーク圧縮機と比較して10倍の高速化を実現し,imagenet32とimagenet64の圧縮速度も維持した。
関連論文リスト
- "Lossless" Compression of Deep Neural Networks: A High-dimensional
Neural Tangent Kernel Approach [49.744093838327615]
広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。
提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
論文 参考訳（メタデータ） (2024-03-01T03:46:28Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - COIN++: Data Agnostic Neural Compression [55.27113889737545]
COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。
様々なデータモダリティを圧縮することで,本手法の有効性を示す。
論文 参考訳（メタデータ） (2022-01-30T20:12:04Z) - Implicit Neural Video Compression [17.873088127087605]
暗黙的なニューラル表現で全解像度映像列を圧縮する手法を提案する。
各フレームは、座標位置をピクセル値にマッピングするニューラルネットワークとして表現される。
我々は、異なる暗黙ネットワークを用いて座標入力を変調し、フレーム間の効率的な動き補償を可能にする。
論文 参考訳（メタデータ） (2021-12-21T15:59:00Z) - Lossless Compression with Probabilistic Circuits [42.377045986733776]
確率回路 (PC) は、$|p|$計算単位を含むニューラルネットワークのクラスである。
時間複雑性が $mathcalO (log(D) cdot |p|)$ であるような効率的な符号化と復号化スキームを導出する。
従来のPC構造学習パイプラインをスケールアップすることにより、MNISTなどの画像データセットで最先端の結果が得られた。
論文 参考訳（メタデータ） (2021-11-23T03:30:22Z) - Quantized Neural Networks via {-1, +1} Encoding Decomposition and
Acceleration [83.84684675841167]
本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。
本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
論文 参考訳（メタデータ） (2021-06-18T03:11:15Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳（メタデータ） (2020-06-21T08:23:03Z) - Cross-filter compression for CNN inference acceleration [4.324080238456531]
畳み込み処理において,$sim32times$メモリと$122times$メモリを節約できる新しいクロスフィルタ圧縮法を提案する。
CIFAR-10 と ImageNet のデータセットを用いて,Binary-Weight と XNOR-Net を別々に評価した。
論文 参考訳（メタデータ） (2020-05-18T19:06:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。