論文の概要: Leveraging Diffusion Knowledge for Generative Image Compression with Fractal Frequency-Aware Band Learning
- arxiv url: http://arxiv.org/abs/2503.11321v1
- Date: Fri, 14 Mar 2025 11:41:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-17 13:06:00.878951
- Title: Leveraging Diffusion Knowledge for Generative Image Compression with Fractal Frequency-Aware Band Learning
- Title（参考訳）: フラクタル周波数帯学習を用いた画像圧縮のための拡散知識の活用
- Authors: Lingyu Zhu, Xiangrui Zeng, Bolin Chen, Peilin Chen, Yung-Hui Li, Shiqi Wang,
- Abstract要約: 生成的画像圧縮アプローチは、シャープな再構築ではなく、詳細で現実的な画像を生成する。
拡散知識を取り入れた新しい深層学習に基づく画像圧縮手法を提案する。
提案手法は, 従来よりも低歪みで, 高いリアリズム, より優れたリアリズムの歪みを実現する。
- 参考スコア（独自算出の注目度）: 16.077768397480902
- License:
- Abstract: By optimizing the rate-distortion-realism trade-off, generative image compression approaches produce detailed, realistic images instead of the only sharp-looking reconstructions produced by rate-distortion-optimized models. In this paper, we propose a novel deep learning-based generative image compression method injected with diffusion knowledge, obtaining the capacity to recover more realistic textures in practical scenarios. Efforts are made from three perspectives to navigate the rate-distortion-realism trade-off in the generative image compression task. First, recognizing the strong connection between image texture and frequency-domain characteristics, we design a Fractal Frequency-Aware Band Image Compression (FFAB-IC) network to effectively capture the directional frequency components inherent in natural images. This network integrates commonly used fractal band feature operations within a neural non-linear mapping design, enhancing its ability to retain essential given information and filter out unnecessary details. Then, to improve the visual quality of image reconstruction under limited bandwidth, we integrate diffusion knowledge into the encoder and implement diffusion iterations into the decoder process, thus effectively recovering lost texture details. Finally, to fully leverage the spatial and frequency intensity information, we incorporate frequency- and content-aware regularization terms to regularize the training of the generative image compression network. Extensive experiments in quantitative and qualitative evaluations demonstrate the superiority of the proposed method, advancing the boundaries of achievable distortion-realism pairs, i.e., our method achieves better distortions at high realism and better realism at low distortion than ever before.
- Abstract（参考訳）: レート歪み-リアリズムトレードオフを最適化することにより、生成画像圧縮アプローチは、レート歪み-最適化モデルによって生成される唯一のシャープな再構築ではなく、詳細で現実的なイメージを生成する。
本稿では,拡散知識を取り入れた深層学習に基づく画像圧縮手法を提案し,現実的なシナリオにおいてより現実的なテクスチャを復元する能力を得る。
生成画像圧縮タスクにおけるレート・歪み・リアリズムのトレードオフをナビゲートするための3つの視点から試みる。
まず, 画像テクスチャと周波数領域特性の強い関係を認識し, フラクタル周波数対応帯域画像圧縮(FFAB-IC)ネットワークを設計し, 自然画像に固有の方向周波数成分を効果的に捉える。
このネットワークは、ニューラルネットワークの非線形マッピング設計に一般的に使用されるフラクタルバンド機能操作を統合し、必須の情報を保持し、不要な詳細をフィルタリングする能力を高める。
そして、限られた帯域幅で画像再構成の視覚的品質を向上させるために、拡散知識をエンコーダに統合し、デコーダプロセスに拡散繰り返しを実装することにより、失われたテクスチャの詳細を効果的に回収する。
最後に、空間的および周波数的強度情報を完全に活用するために、生成画像圧縮ネットワークのトレーニングを規則化するために、周波数・コンテンツ対応正規化用語を組み込む。
定量的および定性的な評価実験において,提案手法の優位性を実証し,達成可能な歪み-現実性ペアの境界を推し進めた。
関連論文リスト
- Toward Scalable Image Feature Compression: A Content-Adaptive and Diffusion-Based Approach [44.03561901593423]
本稿では,スケーラブルな画像圧縮のためのコンテンツ適応拡散モデルを提案する。
提案手法は拡散過程を通じて微細なテクスチャを符号化し,知覚品質を向上する。
画像再構成および下流マシンビジョンタスクにおいて,提案手法の有効性を示す実験を行った。
論文 参考訳（メタデータ） (2024-10-08T15:48:34Z) - Edge-based Denoising Image Compression [10.477417679208845]
深層学習に基づく画像圧縮は、研究の重要な領域として現れている。
本稿では,拡散モデルを用いた新しい圧縮モデルを提案する。
我々のモデルは画像の品質と圧縮効率の点で、優れた結果または同等の結果が得られる。
論文 参考訳（メタデータ） (2024-09-17T08:20:26Z) - Enhancing Perception Quality in Remote Sensing Image Compression via Invertible Neural Network [10.427300958330816]
リモートセンシング画像をデコードして、特に低解像度で高い知覚品質を実現することは、依然として大きな課題である。
Invertible Neural Network-based Remote Sensor Image compression (INN-RSIC)法を提案する。
我々の INN-RSIC は、認識品質の観点から、既存の最先端のディープラーニングベースの画像圧縮手法よりも優れています。
論文 参考訳（メタデータ） (2024-05-17T03:52:37Z) - Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。
我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。
実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
論文 参考訳（メタデータ） (2024-01-25T08:11:27Z) - ENTED: Enhanced Neural Texture Extraction and Distribution for
Reference-based Blind Face Restoration [51.205673783866146]
我々は,高品質でリアルな肖像画を復元することを目的とした,ブラインドフェイス修復のための新しいフレームワークであるENTEDを提案する。
劣化した入力画像と参照画像の間で高品質なテクスチャ特徴を伝達するために,テクスチャ抽出と分布の枠組みを利用する。
われわれのフレームワークにおけるStyleGANのようなアーキテクチャは、現実的な画像を生成するために高品質な潜伏符号を必要とする。
論文 参考訳（メタデータ） (2024-01-13T04:54:59Z) - Transferable Learned Image Compression-Resistant Adversarial Perturbations [66.46470251521947]
敵対的攻撃は容易に画像分類システムを破壊し、DNNベースの認識タスクの脆弱性を明らかにする。
我々は、学習した画像圧縮機を前処理モジュールとして利用する画像分類モデルをターゲットにした新しいパイプラインを提案する。
論文 参考訳（メタデータ） (2024-01-06T03:03:28Z) - DPFNet: A Dual-branch Dilated Network with Phase-aware Fourier
Convolution for Low-light Image Enhancement [1.2645663389012574]
低照度画像の高精細化は、低照度画像から通常の露光画像を復元することを目的とした古典的なコンピュータビジョン問題である。
この分野でよく使われる畳み込みニューラルネットワークは、空間領域の低周波局所構造の特徴をサンプリングするのに長けている。
周波数位相のセマンティクスの制約の下で高品質なテクスチャの詳細を復元できるフーリエ係数を用いた新しいモジュールを提案する。
論文 参考訳（メタデータ） (2022-09-16T13:56:09Z) - Implicit Neural Representations for Image Compression [103.78615661013623]
Inlicit Neural Representations (INRs) は、様々なデータ型の新規かつ効果的な表現として注目されている。
量子化、量子化を考慮した再学習、エントロピー符号化を含むINRに基づく最初の包括的圧縮パイプラインを提案する。
我々は、INRによるソース圧縮に対する我々のアプローチが、同様の以前の作業よりも大幅に優れていることに気付きました。
論文 参考訳（メタデータ） (2021-12-08T13:02:53Z) - Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。
実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
論文 参考訳（メタデータ） (2021-11-27T12:12:57Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。