論文の概要: A Projection-Based Surrogate Gradient Interpretation for Neural Codec Wrappers
- arxiv url: http://arxiv.org/abs/2606.20671v1
- Date: Fri, 12 Jun 2026 11:29:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:16:22.800237
- Title: A Projection-Based Surrogate Gradient Interpretation for Neural Codec Wrappers
- Title（参考訳）: プロジェクションに基づくニューラルコーデックラッパーのサロゲートグラディエント解釈
- Abstract要約: シュロゲート勾配を一階局所近似として解釈できることを示す。
ダウンスケーリング操作を学習するだけでなく、完全なニューラルラッピングの課題にも有効であることを示す。
- 参考スコア（独自算出の注目度）: 9.436544348188598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural wrappers are learned pre-and postprocessing networks designed to enhance the performance of conventional video codecs. Although these approaches can significantly improve compression efficiency, training them remains challenging due to the non-differentiability of video codecs, which arises from the multiple discrete decisions involved in the encoding process. Surrogate gradients have recently emerged as an effective solution for enabling end-to-end learning with conventional codecs. They offer two main advantages: they avoid training an additional network to mimic the codec, and they can improve compression performance. In particular, the recently proposed SCALED method, which leverages the true compression error, has shown strong results for training neural pre-processors such as downscalers. However, this SCALED gradient was originally introduced as a reparameterization trick, which limits its interpretability. In this paper, we show that this surrogate gradient can be interpreted as a first-order local approximation of the video codec, providing insight into its effectiveness. We further demonstrate that it is effective not only for learning downscaling operations, but also for the more challenging task of full neural wrapping with pre-and post-processing networks. Finally, we show that the approach generalizes well across different video codecs, quality factors, and tasks, including multiple downscaling ratios, yielding BD-Rate (PSNR) reductions of up to -23.59% on x264 and -20.07% on VVenC relative to standard resampling baselines.
- Abstract（参考訳）: ニューラルラッパーは、従来のビデオコーデックの性能を高めるために、事前および後処理ネットワークを学習する。
これらの手法は圧縮効率を大幅に向上させることができるが、符号化プロセスに関わる複数の離散的な決定から生じるビデオコーデックの非微分性のため、訓練は依然として困難である。
代用コーデックによるエンドツーエンド学習を実現するための有効なソリューションとして,最近サロゲート勾配が出現している。
コーデックを模倣する追加ネットワークのトレーニングを回避し、圧縮性能を向上させる。
特に, 真の圧縮誤差を利用した最近提案されたSCALED法では, ダウンスケーラなどのニューラルプリプロセッサのトレーニングに強い結果が得られた。
しかし、このSCALED勾配はもともと再パラメータ化のトリックとして導入され、解釈性は制限された。
本稿では,この代理勾配をビデオコーデックの1次局所近似として解釈し,その有効性について考察する。
さらに、ダウンスケーリング操作の学習だけでなく、前処理と後処理のネットワークによる完全なニューラルラッピングの課題にも有効であることを示す。
最後に,複数のダウンスケーリング比を含むビデオコーデック,品質要因,タスクを対象とし,X264では最大23.59%,VVenCでは最大20.07%のBD-Rate(PSNR)削減を実現した。
関連論文リスト
- High-Fidelity Video Compression based on Invertible Neural Transform and Implicit Conditioning [9.466904732249127]
InnVCは、広帯域かつ高忠実な圧縮のための、インバータブルニューラルネットワークベースのビデオコーデックである。
私たちの知る限りでは、InnVCは単一のアーキテクチャスケールで、低い忠実度から高い忠実度までのポインを操作する最初のニューラルビデオです。
論文 参考訳（メタデータ） (2026-06-11T22:37:11Z) - SCALED : Surrogate-gradient for Codec-Aware Learning of Downsampling in ABR Streaming [9.436544348188598]
現在、Over-the-Top (OTT)配信は、主にAdaptive Bitrate (ABR)ストリーミングに依存している。
ディープラーニングは、学習された再サンプリング手法を使用してABRパイプラインを共同最適化することへの関心を喚起している。
そこで本研究では,現実の非微分可能コーデックによるエンドツーエンドのトレーニングを可能にする新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-30T10:38:35Z) - Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。
本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。
この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
論文 参考訳（メタデータ） (2025-05-24T15:52:49Z) - Exploiting Latent Properties to Optimize Neural Codecs [5.725546754007691]
本稿では,ベクトル量子化とエントロピー勾配の利点を利用して,市販コーデックの性能を向上させることを提案する。
これらの手法は、様々な事前訓練された手法で同じ品質の1～3%のコストを節約できることが示される。
論文 参考訳（メタデータ） (2025-01-02T12:45:31Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-01-25T08:11:27Z) - Accelerating Learnt Video Codecs with Gradient Decay and Layer-wise
Distillation [17.980800481385195]
本稿では, 勾配減衰と適応層ワイド蒸留に基づく新しいモデル非依存プルーニング手法を提案する。
その結果,BD-PSNRでは最大65%のMACと2倍のスピードアップ,0.3dB未満のBD-PSNRが得られた。
論文 参考訳（メタデータ） (2023-12-05T09:26:09Z) - A Coding Framework and Benchmark towards Low-Bitrate Video Understanding [63.05385140193666]
我々は,従来のコーデックとニューラルネットワーク(NN)の両方を活用する,従来型ニューラル混合符号化フレームワークを提案する。
このフレームワークは、動画の移動効率の良いセマンティック表現を確実に保持することで最適化される。
8つのデータセットに3つのダウンストリームタスクを備えた低ビットレートビデオ理解ベンチマークを構築し、このアプローチの顕著な優位性を実証した。
論文 参考訳（メタデータ） (2022-02-06T16:29:15Z) - Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG
Encoder-Decoder [73.48927855855219]
本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。
実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
論文 参考訳（メタデータ） (2022-01-27T20:20:03Z) - Multitask Learning for VVC Quality Enhancement and Super-Resolution [11.446576112498596]
デコードされたVVCビデオ品質を高めるための後処理のステップとして学習ベースのソリューションを提案します。
提案手法はマルチタスク学習に依存し,複数のレベルに最適化された1つの共有ネットワークを用いて品質向上と超解像化を実現する。
論文 参考訳（メタデータ） (2021-04-16T19:05:26Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。