論文の概要: Optimal Neural Compressors for the Rate-Distortion-Perception Tradeoff

• arxiv url: http://arxiv.org/abs/2503.17558v1
• Date: Fri, 21 Mar 2025 22:18:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:33:20.766553
• Title: Optimal Neural Compressors for the Rate-Distortion-Perception Tradeoff
• Title（参考訳）: 速度歪み知覚トレードオフのための最適ニューラル圧縮機
• Authors: Eric Lei, Hamed Hassani, Shirin Saeedi Bidokhti,
• Abstract要約: ニューラル圧縮における最近の取り組みは、速度歪みと知覚のトレードオフに焦点を当てている。 本稿では, 複雑度が低く, 高パッキング効率の恩恵を受けるニューラル圧縮機を提案する。
• 参考スコア（独自算出の注目度）: 29.69773024077467
• License:
• Abstract: Recent efforts in neural compression have focused on the rate-distortion-perception (RDP) tradeoff, where the perception constraint ensures the source and reconstruction distributions are close in terms of a statistical divergence. Theoretical work on RDP describes interesting properties of RDP-optimal compressors without providing constructive and low complexity solutions. While classical rate distortion theory shows that optimal compressors should efficiently pack the space, RDP theory additionally shows that infinite randomness shared between the encoder and decoder may be necessary for RDP optimality. In this paper, we propose neural compressors that are low complexity and benefit from high packing efficiency through lattice coding and shared randomness through shared dithering over the lattice cells. For two important settings, namely infinite shared and zero shared randomness, we analyze the rate, distortion, and perception achieved by our proposed neural compressors and further show optimality in the presence of infinite shared randomness. Experimentally, we investigate the roles these two components of our design, lattice coding and randomness, play in the performance of neural compressors on synthetic and real-world data. We observe that performance improves with more shared randomness and better lattice packing.
• Abstract（参考訳）: ニューラル圧縮における最近の取り組みは、認識制約がソースと再構成分布が統計的に異なることを確実にするRDPトレードオフに焦点を当てている。 RDPに関する理論的研究は、建設的かつ低複雑性の解を提供することなく、RDP最適圧縮機の興味深い性質を記述している。 古典的な速度歪み理論では、最適圧縮機は効率よく空間を詰める必要があるが、RDP理論はエンコーダとデコーダの間で共有される無限ランダム性が RDP の最適性に必要であることを示している。 本稿では,格子上の共有ディザリングにより,格子符号化と共有ランダム性による高パッキング効率の恩恵を受けることができる,低複雑性のニューラル圧縮機を提案する。 無限共有ランダムネスとゼロ共有ランダムネスという2つの重要な設定に対して、提案したニューラル圧縮機によって達成される速度、歪み、知覚を分析し、さらに無限共有ランダムネスの存在下で最適性を示す。 実験により, この2つの設計要素, 格子符号化とランダム性について検討し, 合成および実世界のデータに対するニューラル圧縮機の性能について検討した。 より共有されたランダム性とより優れた格子パッキングにより、パフォーマンスが向上するのを観察する。

関連論文リスト

• SPC-NeRF: Spatial Predictive Compression for Voxel Based Radiance Field [41.33347056627581]
  本稿では,EVG圧縮に空間予測符号化を適用した新しいフレームワークであるSPC-NeRFを提案する。 我々の手法は最先端のVQRFに比べて32%のビット節約が可能である。
  論文  参考訳（メタデータ） (2024-02-26T07:40:45Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [39.65082601416051]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• Federated Random Reshuffling with Compression and Variance Reduction [0.0]
  ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。 組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。 我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
  論文  参考訳（メタデータ） (2022-05-08T16:46:11Z)
• Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme [65.5405625485559]
  GAN圧縮は、リソース制約のあるエッジデバイスにGANをデプロイする際の計算オーバーヘッドとメモリ使用量を大幅に削減することを目的としている。 本稿では,GAN圧縮における識別器の役割を再考し,GAN圧縮のための新しいジェネレータ-識別器協調圧縮スキームであるGCCを設計する。
  論文  参考訳（メタデータ） (2021-10-27T13:54:55Z)
• Out-of-Distribution Robustness in Deep Learning Compression [28.049124970993056]
  ディープニューラルネットワーク(DNN)圧縮システムは、多くの天然資源のソースコードを設計するのに非常に効果的であることが証明されている。 これらのシステムは、分散シフトの脆弱性や配布外データに悩まされており、現実世界のアプリケーションを減らすことができる。 本稿では,DNN圧縮機を分散ロバスト最適化(DRO)を用いて訓練する手法と,構造化ラテントコードを用いたアルゴリズムおよびアーキテクチャフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T19:54:07Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
  本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。 イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。 数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2021-05-14T08:15:18Z)
• An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
  Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
  論文  参考訳（メタデータ） (2021-01-26T13:06:00Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)
• End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement [57.18801093608717]
  本稿では,ディープニューラルネットワークの表現と学習能力を活用することで,エンドツーエンドの特徴圧縮手法を提案する。 特に、抽出した特徴量を、レート歪みコストを最適化することにより、エンドツーエンドでコンパクトに符号化する。 提案モデルの有効性を顔の特徴で検証し, 圧縮性能を高いレート精度で評価した。
  論文  参考訳（メタデータ） (2020-02-10T10:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。