論文の概要: Neural Estimation of the Rate-Distortion Function With Applications to Operational Source Coding

• arxiv url: http://arxiv.org/abs/2204.01612v1
• Date: Mon, 4 Apr 2022 16:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-05 14:10:51.816085
• Title: Neural Estimation of the Rate-Distortion Function With Applications to Operational Source Coding
• Title（参考訳）: 速度ゆがみ関数のニューラル推定と操作音源符号化への応用
• Authors: Eric Lei, Hamed Hassani, Shirin Saeedi Bidokhti
• Abstract要約: 損失のあるデータ圧縮スキームを設計する際の根本的な問題は、速度歪み関数と比較してどれだけうまくできるかである。 本研究では,大規模な実世界のデータに対して,速度歪み関数を推定する手法について検討する。 本稿では, NERDと呼ばれる速度歪み推定器を画像データセットに適用する。
• 参考スコア（独自算出の注目度）: 25.59334941818991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A fundamental question in designing lossy data compression schemes is how well one can do in comparison with the rate-distortion function, which describes the known theoretical limits of lossy compression. Motivated by the empirical success of deep neural network (DNN) compressors on large, real-world data, we investigate methods to estimate the rate-distortion function on such data, which would allow comparison of DNN compressors with optimality. While one could use the empirical distribution of the data and apply the Blahut-Arimoto algorithm, this approach presents several computational challenges and inaccuracies when the datasets are large and high-dimensional, such as the case of modern image datasets. Instead, we re-formulate the rate-distortion objective, and solve the resulting functional optimization problem using neural networks. We apply the resulting rate-distortion estimator, called NERD, on popular image datasets, and provide evidence that NERD can accurately estimate the rate-distortion function. Using our estimate, we show that the rate-distortion achievable by DNN compressors are within several bits of the rate-distortion function for real-world datasets. Additionally, NERD provides access to the rate-distortion achieving channel, as well as samples from its output marginal. Therefore, using recent results in reverse channel coding, we describe how NERD can be used to construct an operational one-shot lossy compression scheme with guarantees on the achievable rate and distortion. Experimental results demonstrate competitive performance with DNN compressors.
• Abstract（参考訳）: 損失データ圧縮スキームを設計する基本的な問題は、損失データ圧縮の既知の理論的限界を記述する速度歪み関数と比較して、どの程度うまくできるかである。 実世界の大規模データ上でのディープニューラルネットワーク (DNN) 圧縮機の実証的な成功により, それらのデータ上での速度歪み関数を推定する方法が検討され, DNN圧縮機と最適性の比較が可能となった。 データの経験的分布を利用してブラフト・アリモトアルゴリズムを適用することができるが、現代の画像データセットの場合など、データセットが大規模かつ高次元である場合、この手法はいくつかの計算課題と不正確性を示す。 代わりに、速度歪みの目的を再定式化し、ニューラルネットワークを用いて関数最適化問題を解く。 本稿では, NERD とよばれる速度歪み推定器を画像データセットに適用し, NERD が精度よく速度歪関数を推定できることを示す。 DNN圧縮機で実現可能な速度歪みは実世界のデータセットの速度歪み関数の数ビット以内であることを示す。 さらにNERDは、その出力限界からのサンプルと同様に、レート歪みを達成するチャネルへのアクセスを提供する。 そこで, 逆チャネル符号化における最近の結果を用いて, NERDを用いて, 達成可能な速度と歪みを保証した一発損失圧縮方式を構築する方法について述べる。 実験結果はdnn圧縮機との競合性能を示す。

関連論文リスト

• Reduced storage direct tensor ring decomposition for convolutional neural networks compression [0.0]
  記憶率の低下した直接テンソルリング分解(RSDTR)に基づく新しい低ランクCNN圧縮法を提案する。 提案手法は, 円モードの順応性が高く, パラメータが大きいこと, FLOPS圧縮率が高いことが特徴である。 CIFAR-10とImageNetデータセットで実施された実験は、他の最先端のCNN圧縮アプローチと比較して、RDDTRの効率を明らかに示している。
  論文  参考訳（メタデータ） (2024-05-17T14:16:40Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Compression with Bayesian Implicit Neural Representations [16.593537431810237]
  本稿では,データに変分ニューラルネットワークをオーバーフィッティングし,相対エントロピー符号化を用いて近似後重みサンプルを圧縮し,量子化やエントロピー符号化を行う。 実験により,本手法は単純さを維持しつつ,画像および音声の圧縮に強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-05-30T16:29:52Z)
• Modality-Agnostic Variational Compression of Implicit Neural Representations [96.35492043867104]
  Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。 潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。 このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
  論文  参考訳（メタデータ） (2023-01-23T15:22:42Z)
• Attention-based Feature Compression for CNN Inference Offloading in Edge Computing [93.67044879636093]
  本稿では,デバイスエッジ共振器におけるCNN推論の計算負荷について検討する。 エンドデバイスにおける効率的な特徴抽出のための新しいオートエンコーダベースのCNNアーキテクチャ(AECNN)を提案する。 実験の結果、AECNNは中間データを約4%の精度で256倍圧縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-24T18:10:01Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Universal Rate-Distortion-Perception Representations for Lossy Compression [31.28856752892628]
  我々は、エンコーダを固定し、デコーダを変更して歪みや知覚制約の集合内の任意の点を達成できる普遍表現の概念を考える。 対応する情報理論の普遍的速度歪曲知覚が、近似的な意味で操作可能であることを証明した。
  論文  参考訳（メタデータ） (2021-06-18T18:52:08Z)
• Orthogonal Features-based EEG Signal Denoising using Fractionally Compressed AutoEncoder [16.889633963766858]
  eeg(denoising electroencephalogram)信号の解法として分数ベースの圧縮オートエンコーダアーキテクチャが導入された。 提案アーキテクチャでは,既存の手法と比較して,標準データセットのデノゲーション結果が改善されている。
  論文  参考訳（メタデータ） (2021-02-16T11:15:00Z)
• Deep Networks for Direction-of-Arrival Estimation in Low SNR [89.45026632977456]
  我々は,真の配列多様体行列の変異チャネルデータから学習した畳み込みニューラルネットワーク(CNN)を導入する。 我々は低SNR体制でCNNを訓練し、すべてのSNRでDoAを予測する。 私たちの堅牢なソリューションは、ワイヤレスアレイセンサーから音響マイクロフォンやソナーまで、いくつかの分野に適用できます。
  論文  参考訳（メタデータ） (2020-11-17T12:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。