論文の概要: Optimized learned entropy coding parameters for practical neural-based image and video compression

• arxiv url: http://arxiv.org/abs/2301.08752v1
• Date: Fri, 20 Jan 2023 18:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 16:43:51.242934
• Title: Optimized learned entropy coding parameters for practical neural-based image and video compression
• Title（参考訳）: ニューラルネットワークと映像圧縮のための学習エントロピー符号化パラメータの最適化
• Authors: Amir Said, Reza Pourreza, Hoang Le
• Abstract要約: ある種の符号化パラメータを用いて学習することにより、一様量子化が事実上最適であることが示されている。 良い結果はネットワーク出力あたり4ビットの精度で得られ、事実上8ビットの損失はない。
• 参考スコア（独自算出の注目度）: 5.643894621290368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural-based image and video codecs are significantly more power-efficient when weights and activations are quantized to low-precision integers. While there are general-purpose techniques for reducing quantization effects, large losses can occur when specific entropy coding properties are not considered. This work analyzes how entropy coding is affected by parameter quantizations, and provides a method to minimize losses. It is shown that, by using a certain type of coding parameters to be learned, uniform quantization becomes practically optimal, also simplifying the minimization of code memory requirements. The mathematical properties of the new representation are presented, and its effectiveness is demonstrated by coding experiments, showing that good results can be obtained with precision as low as 4~bits per network output, and practically no loss with 8~bits.
• Abstract（参考訳）: ニューラルベースの画像とビデオコーデックは、重みとアクティベーションが低精度整数に量子化されると、はるかに電力効率が向上する。 量子化効果の低減には汎用技術があるが、特定のエントロピー符号化特性が考慮されない場合には大きな損失が発生する。 この研究は、エントロピー符号化がパラメータ量子化によってどのように影響を受けるかを分析し、損失を最小限に抑える方法を提供する。 符号化パラメータの特定の型を学習することで、一様量子化が事実上最適となり、コードメモリ要件の最小化も容易になることを示した。 新しい表現の数学的特性を示し、その有効性は符号化実験によって示され、良い結果がネットワーク出力あたり4～bitsの精度で得られ、事実上8～bitsの損失はないことを示す。

関連論文リスト

• Low-Bitwidth Floating Point Quantization for Efficient High-Quality Diffusion Models [2.926259075657424]
  拡散モデルは、ディープニューラルネットワークを用いてランダムガウスノイズを反復的にデノベートすることで画像を生成する。 近年の研究では、拡散モデルに対する低ビット幅(例:8ビットまたは4ビット)の量子化が提案されているが、4ビットの整数量子化は典型的には低画質の画像をもたらす。 本稿では,整数量子化法と比較して画像品質がよい拡散モデルのための効果的な浮動小数点量子化法を提案する。
  論文  参考訳（メタデータ） (2024-08-13T15:56:20Z)
• Compression with Bayesian Implicit Neural Representations [16.593537431810237]
  本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。 実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-05-30T16:29:52Z)
• The END: An Equivariant Neural Decoder for Quantum Error Correction [73.4384623973809]
  データ効率のよいニューラルデコーダを導入し、この問題の対称性を活用する。 本稿では,従来のニューラルデコーダに比べて精度の高い新しい同変アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-14T19:46:39Z)
• Post-Training Quantization for Vision Transformer [85.57953732941101]
  本稿では,視覚変換器のメモリ記憶量と計算コストを削減するための学習後量子化アルゴリズムを提案する。 約8ビット量子化を用いて、ImageNetデータセット上でDeiT-Bモデルを用いて81.29%のトップ-1の精度を得ることができる。
  論文  参考訳（メタデータ） (2021-06-27T06:27:22Z)
• Variational Quantum Optimization with Multi-Basis Encodings [62.72309460291971]
  マルチバスグラフ複雑性と非線形活性化関数の2つの革新の恩恵を受ける新しい変分量子アルゴリズムを導入する。 その結果,最適化性能が向上し,有効景観が2つ向上し,測定の進歩が減少した。
  論文  参考訳（メタデータ） (2021-06-24T20:16:02Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• Searching for Low-Bit Weights in Quantized Neural Networks [129.8319019563356]
  低ビットの重みとアクティベーションを持つ量子ニューラルネットワークは、AIアクセラレータを開発する上で魅力的なものだ。 本稿では、任意の量子化ニューラルネットワークにおける離散重みを探索可能な変数とみなし、差分法を用いて正確に探索する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:26Z)
• Accelerating Neural Network Inference by Overflow Aware Quantization [16.673051600608535]
  ディープニューラルネットワークの重計算を継承することで、その広範な応用が防げる。 トレーニング可能な適応的不動点表現を設計し,オーバーフローを考慮した量子化手法を提案する。 提案手法により,量子化損失を最小限に抑え,最適化された推論性能を得ることができる。
  論文  参考訳（メタデータ） (2020-05-27T11:56:22Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)
• Least squares binary quantization of neural networks [19.818087225770967]
  値が-1と1にマップされる二項量子化に焦点を当てる。 2ビット対1ビット量子化のパリト最適性に触発されて、証明可能な最小二乗誤差を持つ新しい2ビット量子化を導入する。
  論文  参考訳（メタデータ） (2020-01-09T00:01:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。