論文の概要: SG-JND: Semantic-Guided Just Noticeable Distortion Predictor For Image Compression
- arxiv url: http://arxiv.org/abs/2408.04273v1
- Date: Thu, 8 Aug 2024 07:14:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-09 16:17:56.696704
- Title: SG-JND: Semantic-Guided Just Noticeable Distortion Predictor For Image Compression
- Title(参考訳): SG-JND: 画像圧縮に注意すべき歪み予測器
- Authors: Linhan Cao, Wei Sun, Xiongkuo Min, Jun Jia, Zicheng Zhang, Zijian Chen, Yucheng Zhu, Lizhou Liu, Qiubo Chen, Jing Chen, Guangtao Zhai,
- Abstract要約: JND(Just noticeable distortion)は、人間の視覚系に最小限の知覚力を持つ画像における歪みのしきい値を表す。
従来のJND予測手法はピクセルレベルまたはサブバンドレベルの機能のみに依存している。
本稿では,意味情報を利用してJND予測を行うセマンティックガイド型JNDネットワークを提案する。
- 参考スコア(独自算出の注目度): 50.2496399381438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Just noticeable distortion (JND), representing the threshold of distortion in an image that is minimally perceptible to the human visual system (HVS), is crucial for image compression algorithms to achieve a trade-off between transmission bit rate and image quality. However, traditional JND prediction methods only rely on pixel-level or sub-band level features, lacking the ability to capture the impact of image content on JND. To bridge this gap, we propose a Semantic-Guided JND (SG-JND) network to leverage semantic information for JND prediction. In particular, SG-JND consists of three essential modules: the image preprocessing module extracts semantic-level patches from images, the feature extraction module extracts multi-layer features by utilizing the cross-scale attention layers, and the JND prediction module regresses the extracted features into the final JND value. Experimental results show that SG-JND achieves the state-of-the-art performance on two publicly available JND datasets, which demonstrates the effectiveness of SG-JND and highlight the significance of incorporating semantic information in JND assessment.
- Abstract(参考訳): 人間の視覚システム(HVS)に最小限の影響を受けやすい画像における歪みのしきい値を表すジャストインタブル歪み(JND)は、画像圧縮アルゴリズムにおいて、伝送ビットレートと画質のトレードオフを達成するために重要である。
しかし、従来のJND予測手法は画素レベルまたはサブバンドレベルの機能のみに依存しており、JNDにおける画像コンテンツの影響を捉える能力は欠如している。
このギャップを埋めるために,意味情報を利用してJND予測を行うセマンティックガイドJND(SG-JND)ネットワークを提案する。
特に、SG-JNDは、画像前処理モジュールが画像からセマンティックレベルパッチを抽出し、特徴抽出モジュールがクロススケールアテンション層を利用して多層特徴を抽出し、JND予測モジュールが抽出した特徴を最終JND値に回帰する3つの必須モジュールから構成される。
実験結果から,SG-JNDは2つの公開JNDデータセット上での最先端性能を実現し,SG-JNDの有効性を実証し,意味情報をJNDアセスメントに組み込むことの重要性を強調した。
関連論文リスト
- Perceptual Learned Image Compression via End-to-End JND-Based
Optimization [15.173265255635219]
Emerging Learned Image Compression (LC)は、圧縮のためのニューラルネットワークのエンドツーエンドトレーニングによって、コーディング効率を大幅に改善する。
HVS(Human Visual System)に準拠したLCの知覚的最適化は、まだ完全には検討されていない。
本稿では,Just Noticeable Distortion(JND)の原則をLCに統合するための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T09:45:38Z) - IQNet: Image Quality Assessment Guided Just Noticeable Difference
Prefiltering For Versatile Video Coding [0.9403328689534943]
ジャストインタブル歪み(JND)による画像プリフィルタは、圧縮前に知覚的に冗長な情報をフィルタリングすることにより、視覚的に符号化効率を向上させる。
本稿では, 高精度なブロックレベルのJNDモデリングのための画像品質評価によって導かれる, きめ細かいJND事前フィルタリングデータセットを提案する。
論文 参考訳(メタデータ) (2023-12-15T13:58:10Z) - The First Comprehensive Dataset with Multiple Distortion Types for
Visual Just-Noticeable Differences [40.50003266570956]
この研究は、106のソースイメージと1,642のJNDマップを含む25の歪みタイプを含む粗いJND選択を伴う一般化されたJNDデータセットを確立する。
クラウドソースされた主観評価を伴うJND候補に対して、詳細なJND選択を行う。
論文 参考訳(メタデータ) (2023-03-05T03:12:57Z) - Just Noticeable Difference Modeling for Face Recognition System [69.28990314553076]
本研究は,自動顔認証システムにおける特徴的差分(JND)について検討する試みである。
FRシステムのJND画像を直接推測する新しいJND予測モデルを開発した。
実験により,提案モデルによりJNDマップの精度が向上することが確認された。
論文 参考訳(メタデータ) (2022-09-13T10:06:36Z) - Semantic Image Synthesis via Diffusion Models [159.4285444680301]
Denoising Diffusion Probabilistic Models (DDPM) は様々な画像生成タスクにおいて顕著な成功を収めた。
セマンティック画像合成に関する最近の研究は、主に「GAN(Generative Adversarial Nets)」に追従している。
論文 参考訳(メタデータ) (2022-06-30T18:31:51Z) - Deep Posterior Distribution-based Embedding for Hyperspectral Image
Super-resolution [75.24345439401166]
本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。
我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。
そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。
3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2022-05-30T06:59:01Z) - Full RGB Just Noticeable Difference (JND) Modelling [69.42889006770018]
Just Noticeable difference (JND) はマルチメディア信号処理に多くの応用がある。
本稿では,全RGBチャネルの特性を考慮し,JNDを生成するJNDモデルを提案する。
RGB-JND-NETは、完全なRGBチャネルの視覚コンテンツを用いてJND生成のための特徴を抽出する。
論文 参考訳(メタデータ) (2022-03-01T17:16:57Z) - Towards Top-Down Just Noticeable Difference Estimation of Natural Images [65.14746063298415]
JNDの推定は、主に空間領域と周波数領域における異なる要因の可視性マスキング効果をモデル化することに焦点を当てている。
この作業では、トップダウンの設計哲学でこれらの問題に対処する、劇的に異なる方法に目を向けます。
提案したJNDモデルは,最新のJNDモデルよりも優れた性能を実現することができる。
論文 参考訳(メタデータ) (2021-08-11T06:51:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。