論文の概要: NVTC: Nonlinear Vector Transform Coding
- arxiv url: http://arxiv.org/abs/2305.16025v1
- Date: Thu, 25 May 2023 13:06:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 15:08:39.315599
- Title: NVTC: Nonlinear Vector Transform Coding
- Title(参考訳): NVTC:非線形ベクトル変換符号化
- Authors: Runsen Feng, Zongyu Guo, Weiping Li, Zhibo Chen
- Abstract要約: 理論上、ベクトル量子化(VQ)は常にスカラー量子化(SQ)よりも、レート歪み(R-D)性能の点で優れている。
最近のニューラル画像圧縮の最先端手法は、主に均一なスカラー量子化を伴う非線形変換符号化(NTC)に基づいている。
ベクトル変換符号化(NVTC)と呼ばれるニューラル画像圧縮のための新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 35.10187626615328
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In theory, vector quantization (VQ) is always better than scalar quantization
(SQ) in terms of rate-distortion (R-D) performance. Recent state-of-the-art
methods for neural image compression are mainly based on nonlinear transform
coding (NTC) with uniform scalar quantization, overlooking the benefits of VQ
due to its exponentially increased complexity. In this paper, we first
investigate on some toy sources, demonstrating that even if modern neural
networks considerably enhance the compression performance of SQ with nonlinear
transform, there is still an insurmountable chasm between SQ and VQ. Therefore,
revolving around VQ, we propose a novel framework for neural image compression
named Nonlinear Vector Transform Coding (NVTC). NVTC solves the critical
complexity issue of VQ through (1) a multi-stage quantization strategy and (2)
nonlinear vector transforms. In addition, we apply entropy-constrained VQ in
latent space to adaptively determine the quantization boundaries for joint
rate-distortion optimization, which improves the performance both theoretically
and experimentally. Compared to previous NTC approaches, NVTC demonstrates
superior rate-distortion performance, faster decoding speed, and smaller model
size. Our code is available at https://github.com/USTC-IMCL/NVTC
- Abstract(参考訳): 理論上、ベクトル量子化(VQ)は常にスカラー量子化(SQ)よりも、レート歪み(R-D)性能の点で優れている。
ニューラル画像圧縮の最近の最先端手法は、その指数関数的に増大する複雑性のためにVQの利点を見越して、一様スカラー量子化を伴う非線形変換符号化(NTC)に基づいている。
本稿では,最近のニューラルネットワークが非線形変換によるSQの圧縮性能を著しく向上させたとしても,SQとVQの間には相変わらずキャズムが存在することを示す。
そこで本研究では,非線形ベクトル変換符号化(NVTC)と呼ばれるニューラル画像圧縮のための新しいフレームワークを提案する。
NVTCは、(1)多段階量子化戦略と(2)非線形ベクトル変換によるVQの臨界複雑性問題を解く。
さらに, エントロピー拘束vqを潜在空間に適用し, 共分散最適化のための量子化境界を適応的に決定し, 理論的および実験的に性能を向上させる。
従来のNTCアプローチと比較して、NVTCはより優れたレート歪み性能、より高速な復号速度、より小さいモデルサイズを示す。
私たちのコードはhttps://github.com/USTC-IMCL/NVTCで利用可能です。
関連論文リスト
- Approaching Rate-Distortion Limits in Neural Compression with Lattice
Transform Coding [33.377272636443344]
ニューラル圧縮設計では、ソースを潜在ベクトルに変換し、それを整数に丸め、エントロピーを符号化する。
我々は、i.d.配列に対して非常に最適であり、実際に、元のソースシーケンスのスカラー量子化を常に回復することを示した。
遅延空間におけるスカラー量子化の代わりに格子量子化を用いることにより、格子変換符号化(LTC)が様々な次元で最適なベクトル量子化を回復できることを実証する。
論文 参考訳(メタデータ) (2024-03-12T05:09:25Z) - Soft Convex Quantization: Revisiting Vector Quantization with Convex
Optimization [40.1651740183975]
ベクトル量子化(VQ)の直接代用として,ソフト凸量子化(SCQ)を提案する。
SCQは微分凸最適化(DCO)層のように機能する。
CIFAR-10, GTSRB, LSUNデータセット上での有効性を示す。
論文 参考訳(メタデータ) (2023-10-04T17:45:14Z) - LVQAC: Lattice Vector Quantization Coupled with Spatially Adaptive
Companding for Efficient Learned Image Compression [24.812267280543693]
本稿では,空間適応型コンパウンディング(LVQAC)マッピングを併用した新しい格子ベクトル量子化方式を提案する。
エンドツーエンドのCNN画像圧縮モデルでは、一様量子化器をLVQACで置き換えることにより、モデルの複雑さを大幅に増大させることなく、より優れたレート歪み性能が得られる。
論文 参考訳(メタデータ) (2023-03-25T23:34:15Z) - Towards Neural Variational Monte Carlo That Scales Linearly with System
Size [67.09349921751341]
量子多体問題(Quantum many-body problem)は、例えば高温超伝導体のようなエキゾチックな量子現象をデミストする中心である。
量子状態を表すニューラルネットワーク(NN)と変分モンテカルロ(VMC)アルゴリズムの組み合わせは、そのような問題を解決する上で有望な方法であることが示されている。
ベクトル量子化技術を用いて,VMCアルゴリズムの局所エネルギー計算における冗長性を利用するNNアーキテクチャVector-Quantized Neural Quantum States (VQ-NQS)を提案する。
論文 参考訳(メタデータ) (2022-12-21T19:00:04Z) - Alternating Layered Variational Quantum Circuits Can Be Classically
Optimized Efficiently Using Classical Shadows [4.680722019621822]
変分量子アルゴリズム(VQA)は、古典的ニューラルネットワーク(NN)の量子アナログである。
本稿では,VQAのトレーニングコストを指数的に削減したトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-08-24T15:47:44Z) - Theoretical Error Performance Analysis for Variational Quantum Circuit
Based Functional Regression [83.79664725059877]
本研究では,次元減少と機能回帰のためのエンドツーエンドの量子ニューラルネットワークであるTTN-VQCを提案する。
また,polyak-Lojasiewicz (PL) 条件を利用してTTN-VQCの最適化特性を特徴付ける。
論文 参考訳(メタデータ) (2022-06-08T06:54:07Z) - FQ-ViT: Fully Quantized Vision Transformer without Retraining [13.82845665713633]
本稿では,量子変換器の性能劣化と推論の複雑さを低減するための系統的手法を提案する。
完全に量子化された視覚変換器上で、我々は初めて精度の劣化(1%)を達成した。
論文 参考訳(メタデータ) (2021-11-27T06:20:53Z) - Characterizing the loss landscape of variational quantum circuits [77.34726150561087]
本稿では,VQCの損失関数のヘシアンを計算する方法を紹介する。
この情報がどのように解釈され、従来のニューラルネットワークと比較されるかを示す。
論文 参考訳(メタデータ) (2020-08-06T17:48:12Z) - Kernel Quantization for Efficient Network Compression [59.55192551370948]
Kernel Quantization(KQ)は、事前訓練された全精度畳み込みニューラルネットワーク(CNN)モデルを、大幅なパフォーマンス損失のない低精度バージョンに効率的に変換することを目的としている。
重み付けからフィルタプルーニングへの進化に触発され,カーネルレベルと重み付けレベルの両方で定量化することを提案する。
ImageNet分類タスクの実験では、KQはVGGとResNet18でそれぞれ平均1.05ビットと1.62ビットを必要とし、畳み込み層の各パラメータを表す。
論文 参考訳(メタデータ) (2020-03-11T08:00:04Z) - Optimal Gradient Quantization Condition for Communication-Efficient
Distributed Training [99.42912552638168]
勾配の通信は、コンピュータビジョンアプリケーションで複数のデバイスでディープニューラルネットワークをトレーニングするのに費用がかかる。
本研究は,textbfANY勾配分布に対する二値および多値勾配量子化の最適条件を導出する。
最適条件に基づいて, 偏差BinGradと非偏差ORQの2値勾配量子化と多値勾配量子化の2つの新しい量子化手法を開発した。
論文 参考訳(メタデータ) (2020-02-25T18:28:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。