論文の概要: Bandwidth-efficient Inference for Neural Image Compression

• arxiv url: http://arxiv.org/abs/2309.02855v2
• Date: Thu, 7 Sep 2023 03:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-08 15:38:11.210859
• Title: Bandwidth-efficient Inference for Neural Image Compression
• Title（参考訳）: ニューラルネットワーク圧縮のための帯域効率推論
• Authors: Shanzhi Yin, Tongda Xu, Yongsheng Liang, Yuanyuan Wang, Yanghao Li, Yan Wang, Jingjing Liu
• Abstract要約: 本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。 既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。
• 参考スコア（独自算出の注目度）: 26.87198174202502
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With neural networks growing deeper and feature maps growing larger, limited communication bandwidth with external memory (or DRAM) and power constraints become a bottleneck in implementing network inference on mobile and edge devices. In this paper, we propose an end-to-end differentiable bandwidth efficient neural inference method with the activation compressed by neural data compression method. Specifically, we propose a transform-quantization-entropy coding pipeline for activation compression with symmetric exponential Golomb coding and a data-dependent Gaussian entropy model for arithmetic coding. Optimized with existing model quantization methods, low-level task of image compression can achieve up to 19x bandwidth reduction with 6.21x energy saving.
• Abstract（参考訳）: ニューラルネットワークが深くなり、機能マップが大きくなり、外部メモリ(dram)による通信帯域が制限され、電力制約がモバイルやエッジデバイスでネットワーク推論を実装する上でボトルネックとなる。 本稿では,ニューラルデータ圧縮法により圧縮されたアクティベーションを用いた終端から終端までの帯域幅効率のよいニューラル推論法を提案する。 具体的には、対称指数ゴロンブ符号化によるアクティベーション圧縮のための変換量子化エントロピー符号化パイプラインと、演算符号化のためのデータ依存ガウスエントロピーモデルを提案する。 既存のモデル量子化法により最適化され、画像圧縮の低レベルタスクは6.21倍の省エネで最大19倍の帯域幅を削減できる。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Frequency Disentangled Features in Neural Image Compression [13.016298207860974]
  ニューラル画像圧縮ネットワークは、エントロピーモデルが潜在コードの真の分布とどの程度うまく一致しているかによって制御される。 本稿では,緩和されたスカラー量子化が低ビットレートを実現するのに役立つ特徴レベルの周波数歪みを提案する。 提案するネットワークは,手作業によるコーデックだけでなく,空間的自己回帰エントロピーモデル上に構築されたニューラルネットワークベースのコーデックよりも優れている。
  論文  参考訳（メタデータ） (2023-08-04T14:55:44Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Modeling Image Quantization Tradeoffs for Optimal Compression [0.0]
  ロスシー圧縮アルゴリズムは、圧縮率を上げるために高周波データを定量化することでトレードオフを狙う。 本稿では,Deep Learningとminimax損失関数を用いた量子化テーブルの最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T07:35:22Z)
• Implicit Neural Representations for Image Compression [103.78615661013623]
  Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。 量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。 我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
  論文  参考訳（メタデータ） (2021-12-08T13:02:53Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations [3.6188659868203388]
  分類精度と圧縮比のトレードオフを改善するための圧縮対応投影システムを提案する。 提案手法は,MobileNetV2/ResNet18/VGG16の精度低下により2.91x5.97xのメモリアクセスを効果的に削減できることを示す。
  論文  参考訳（メタデータ） (2021-10-17T14:02:02Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• On Effects of Compression with Hyperdimensional Computing in Distributed Randomized Neural Networks [6.25118865553438]
  ランダム化ニューラルネットワークと超次元計算に基づく分散分類モデルを提案する。 本研究では,従来の圧縮アルゴリズムや次元減少,量子化技術と比較し,より柔軟な圧縮手法を提案する。
  論文  参考訳（メタデータ） (2021-06-17T22:02:40Z)
• Substitutional Neural Image Compression [48.20906717052056]
  置換型ニューラルイメージ圧縮(snic)は、あらゆるニューラルイメージ圧縮モデルを強化する一般的なアプローチである。 フレキシブルな歪みメトリックに向けて圧縮性能を高め、単一のモデルインスタンスを使用したビットレート制御を可能にする。
  論文  参考訳（メタデータ） (2021-05-16T20:53:31Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。