論文の概要: Estimating the Rate-Distortion Function by Wasserstein Gradient Descent

• arxiv url: http://arxiv.org/abs/2310.18908v1
• Date: Sun, 29 Oct 2023 05:29:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 15:41:19.216184
• Title: Estimating the Rate-Distortion Function by Wasserstein Gradient Descent
• Title（参考訳）: Wasserstein Gradient Descent による速度歪み関数の推定
• Authors: Yibo Yang, Stephan Eckstein, Marcel Nutz, Stephan Mandt
• Abstract要約: 損失圧縮の理論では、レート歪み関数$R(D)$は、データソースが(ビットレートで)どんなレベルの忠実度(歪み)でも圧縮できるかを記述する。 最適輸送の観点から,$R(D)$を推定する新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 36.24186820465207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the theory of lossy compression, the rate-distortion (R-D) function $R(D)$ describes how much a data source can be compressed (in bit-rate) at any given level of fidelity (distortion). Obtaining $R(D)$ for a given data source establishes the fundamental performance limit for all compression algorithms. We propose a new method to estimate $R(D)$ from the perspective of optimal transport. Unlike the classic Blahut--Arimoto algorithm which fixes the support of the reproduction distribution in advance, our Wasserstein gradient descent algorithm learns the support of the optimal reproduction distribution by moving particles. We prove its local convergence and analyze the sample complexity of our R-D estimator based on a connection to entropic optimal transport. Experimentally, we obtain comparable or tighter bounds than state-of-the-art neural network methods on low-rate sources while requiring considerably less tuning and computation effort. We also highlight a connection to maximum-likelihood deconvolution and introduce a new class of sources that can be used as test cases with known solutions to the R-D problem.
• Abstract（参考訳）: 損失圧縮の理論において、R-D(R-D)関数$R(D)$は、任意の一定の忠実度(歪み)でデータソースがどれだけ(ビットレートで)圧縮できるかを記述する。 与えられたデータソースに対して$R(D)$を持つことは、すべての圧縮アルゴリズムの基本的な性能限界を確立する。 最適輸送の観点から$R(D)$を推定する新しい手法を提案する。 従来のBlahut-Arimotoアルゴリズムとは異なり、ワッサーシュタイン勾配降下アルゴリズムは移動粒子による最適複製分布の支持を学習する。 局所収束を証明し,r-d推定器のサンプル複雑性をエントロピー最適輸送への接続に基づいて解析する。 実験により、低レートソース上での最先端ニューラルネットワーク手法と比較して、チューニングや計算の労力を大幅に削減しながら、同等あるいはより厳密な境界が得られる。 また,R-D問題に対する既知の解を持つテストケースとして使用できる新たなソースのクラスを導入する。

関連論文リスト

• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• A Constrained BA Algorithm for Rate-Distortion and Distortion-Rate Functions [13.570794979535934]
  速度歪み関数に対するBlahut-Arimoto (BA)アルゴリズムの修正 修正アルゴリズムは、与えられた対象歪みに対してRD関数を直接計算する。
  論文  参考訳（メタデータ） (2023-05-04T08:41:03Z)
• Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
  我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。 我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
  論文  参考訳（メタデータ） (2022-10-14T01:42:05Z)
• DR-DSGD: A Distributionally Robust Decentralized Learning Algorithm over Graphs [54.08445874064361]
  本稿では,分散環境下での正規化された分散ロバストな学習問題を解くことを提案する。 Kullback-Liebler正規化関数をロバストなmin-max最適化問題に追加することにより、学習問題を修正されたロバストな問題に還元することができる。 提案アルゴリズムは, 最低分布検定精度を最大10%向上できることを示す。
  論文  参考訳（メタデータ） (2022-08-29T18:01:42Z)
• Neural Estimation of the Rate-Distortion Function With Applications to Operational Source Coding [25.59334941818991]
  損失のあるデータ圧縮スキームを設計する際の根本的な問題は、速度歪み関数と比較してどれだけうまくできるかである。 本研究では,大規模な実世界のデータに対して,速度歪み関数を推定する手法について検討する。 本稿では, NERDと呼ばれる速度歪み推定器を画像データセットに適用する。
  論文  参考訳（メタデータ） (2022-04-04T16:06:40Z)
• Towards Empirical Sandwich Bounds on the Rate-Distortion Function [33.21088274828794]
  情報理論の重要な量であるレート歪み(R-D)関数は、データソースをどれだけ圧縮できるかの基本的な限界を特徴付ける。 本稿では、一般(必ずしも離散ではない)ソースのR-D関数をサンドイッチするアルゴリズムを初めて試みる。
  論文  参考訳（メタデータ） (2021-11-23T21:50:27Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• A Distributed Training Algorithm of Generative Adversarial Networks with Quantized Gradients [8.202072658184166]
  本稿では,量子化勾配を用いた分散GAN学習アルゴリズムDQGANを提案する。 この新しい方法は、OMDアルゴリズムと呼ばれる特定の単一マシンアルゴリズムに基づいてGANを訓練し、一般的な$delta$-approximate圧縮器を満たす任意の勾配圧縮手法に適用できる。 理論的には、DQGANアルゴリズムの1次定常点への非漸近収束を確立し、提案アルゴリズムが線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2020-10-26T06:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。