論文の概要: Enhancing image quality prediction with self-supervised visual masking
- arxiv url: http://arxiv.org/abs/2305.19858v2
- Date: Wed, 17 Jan 2024 16:41:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 21:25:45.803888
- Title: Enhancing image quality prediction with self-supervised visual masking
- Title(参考訳): 自己監督型視覚マスキングによる画質予測の強化
- Authors: U\u{g}ur \c{C}o\u{g}alan, Mojtaba Bemana, Hans-Peter Seidel, Karol
Myszkowski
- Abstract要約: フルリファレンス画像品質指標(FR-IQMs)は、参照と歪んだ画像の対の視覚的差異を測定することを目的としている。
本稿では,視認性に基づいて視覚的誤りをペナルティ化する方法で,参照や歪んだ画像を変調する視覚マスキングモデルを提案する。
提案手法は,視覚的,定量的に予測されるFR-IQM測定値とより一致した拡張FR-IQM測定値である。
- 参考スコア(独自算出の注目度): 20.190853812320395
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-reference image quality metrics (FR-IQMs) aim to measure the visual
differences between a pair of reference and distorted images, with the goal of
accurately predicting human judgments. However, existing FR-IQMs, including
traditional ones like PSNR and SSIM and even perceptual ones such as HDR-VDP,
LPIPS, and DISTS, still fall short in capturing the complexities and nuances of
human perception. In this work, rather than devising a novel IQM model, we seek
to improve upon the perceptual quality of existing FR-IQM methods. We achieve
this by considering visual masking, an important characteristic of the human
visual system that changes its sensitivity to distortions as a function of
local image content. Specifically, for a given FR-IQM metric, we propose to
predict a visual masking model that modulates reference and distorted images in
a way that penalizes the visual errors based on their visibility. Since the
ground truth visual masks are difficult to obtain, we demonstrate how they can
be derived in a self-supervised manner solely based on mean opinion scores
(MOS) collected from an FR-IQM dataset. Our approach results in enhanced FR-IQM
metrics that are more in line with human prediction both visually and
quantitatively.
- Abstract(参考訳): フルリファレンス画像品質指標(FR-IQMs)は、人間の判断を正確に予測することを目的として、参照画像と歪画像の対の視覚的差異を測定することを目的としている。
しかし、既存のFR-IQMは、PSNRやSSIMのような従来のものや、HDR-VDP、LPIPS、disTSのような知覚的なものさえも、人間の知覚の複雑さやニュアンスを捉えるのに不足している。
本研究では,新しいIQMモデルを開発するのではなく,既存のFR-IQM手法の知覚的品質の向上を目指す。
局所的な画像内容の関数としての歪みに対する感度を変化させる人間の視覚システムの重要な特徴である視覚マスキングを考慮し、これを実現する。
具体的には、与えられたfr-iqmメトリックに対して、参照および歪んだ画像を可視性に基づいてペナライズする方法で変調する視覚マスキングモデルを予測することを提案する。
基底真理の視覚的マスクは入手が難しいため,fr-iqmデータセットから収集した平均意見スコア(mos)のみに基づいて,自己教師あり方式でそれらを導出する方法を実証する。
提案手法は, 視覚的および定量的に人間の予測に合致したfr-iqm指標を向上させる。
関連論文リスト
- On quantifying and improving realism of images generated with diffusion [50.37578424163951]
与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。
IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。
我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。
このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
論文 参考訳(メタデータ) (2023-09-26T08:32:55Z) - Perceptual Attacks of No-Reference Image Quality Models with
Human-in-the-Loop [113.75573175709573]
NR-IQAモデルの知覚的堅牢性を調べるための最初の試みの1つを行う。
我々は,4つの完全参照IQAモデルの下で,知識駆動のNR-IQA法とデータ駆動のNR-IQA法を検証した。
4つのNR-IQAモデルは全て、提案した知覚的攻撃に対して脆弱であることがわかった。
論文 参考訳(メタデータ) (2022-10-03T13:47:16Z) - Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。
以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
論文 参考訳(メタデータ) (2022-07-25T17:58:16Z) - Textural-Structural Joint Learning for No-Reference Super-Resolution
Image Quality Assessment [59.91741119995321]
我々は、TSNetと呼ばれる品質予測のためのテキスト情報と構造情報を共同で探索するデュアルストリームネットワークを開発した。
画像の重要な領域に注意を払っている人間の視覚システム(HVS)を模倣することにより、視覚に敏感な領域をより区別しやすくするための空間的注意機構を開発する。
実験の結果,提案したTSNetは現状のIQA法よりも視覚的品質を正確に予測し,人間の視点との整合性を示した。
論文 参考訳(メタデータ) (2022-05-27T09:20:06Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳(メタデータ) (2022-04-27T10:21:08Z) - Attentions Help CNNs See Better: Attention-based Hybrid Image Quality
Assessment Network [20.835800149919145]
画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。
GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。
本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
論文 参考訳(メタデータ) (2022-04-22T03:59:18Z) - A Shift-insensitive Full Reference Image Quality Assessment Model Based
on Quadratic Sum of Gradient Magnitude and LOG signals [7.0736273644584715]
本研究では,GMとLOG信号の2次和を用いたFR-IQAモデルを提案する。
実験の結果,提案モデルは3つの大規模主観的IQAデータベース上で堅牢に動作することがわかった。
論文 参考訳(メタデータ) (2020-12-21T17:41:07Z) - Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and
Wild [98.48284827503409]
我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。
我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。
6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
論文 参考訳(メタデータ) (2020-05-28T13:35:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。