論文の概要: Enhancing image quality prediction with self-supervised visual masking
- arxiv url: http://arxiv.org/abs/2305.19858v1
- Date: Wed, 31 May 2023 13:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 16:22:13.735934
- Title: Enhancing image quality prediction with self-supervised visual masking
- Title（参考訳）: 自己監督型視覚マスキングによる画質予測の強化
- Authors: U\u{g}ur \c{C}o\u{g}alan, Mojtaba Bemana, Hans-Peter Seidel, Karol
Myszkowski
- Abstract要約: フルリファレンス画像品質指標(FR-IQMs)は、参照と歪んだ画像の対の視覚的差異を測定することを目的としている。
本稿では,視認性に基づいて視覚的誤りをペナルティ化する方法で,参照や歪んだ画像を変調する視覚マスキングモデルを提案する。
提案手法は,視覚的,定量的に予測されるFR-IQM測定値とより一致した拡張FR-IQM測定値である。
- 参考スコア（独自算出の注目度）: 24.086089662881044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Full-reference image quality metrics (FR-IQMs) aim to measure the visual
differences between a pair of reference and distorted images, with the goal of
accurately predicting human judgments. However, existing FR-IQMs, including
traditional ones like PSNR and SSIM and even perceptual ones such as HDR-VDP,
LPIPS, and DISTS, still fall short in capturing the complexities and nuances of
human perception. In this work, rather than devising a novel IQM model, we seek
to improve upon the perceptual quality of existing FR-IQM methods. We achieve
this by considering visual masking, an important characteristic of the human
visual system that changes its sensitivity to distortions as a function of
local image content. Specifically, for a given FR-IQM metric, we propose to
predict a visual masking model that modulates reference and distorted images in
a way that penalizes the visual errors based on their visibility. Since the
ground truth visual masks are difficult to obtain, we demonstrate how they can
be derived in a self-supervised manner solely based on mean opinion scores
(MOS) collected from an FR-IQM dataset. Our approach results in enhanced FR-IQM
metrics that are more in line with human prediction both visually and
quantitatively.
- Abstract（参考訳）: フルリファレンス画像品質指標(FR-IQMs)は、人間の判断を正確に予測することを目的として、参照画像と歪画像の対の視覚的差異を測定することを目的としている。
しかし、既存のFR-IQMは、PSNRやSSIMのような従来のものや、HDR-VDP、LPIPS、disTSのような知覚的なものさえも、人間の知覚の複雑さやニュアンスを捉えるのに不足している。
本研究では,新しいIQMモデルを開発するのではなく,既存のFR-IQM手法の知覚的品質の向上を目指す。
局所的な画像内容の関数としての歪みに対する感度を変化させる人間の視覚システムの重要な特徴である視覚マスキングを考慮し、これを実現する。
具体的には、与えられたfr-iqmメトリックに対して、参照および歪んだ画像を可視性に基づいてペナライズする方法で変調する視覚マスキングモデルを予測することを提案する。
基底真理の視覚的マスクは入手が難しいため,fr-iqmデータセットから収集した平均意見スコア(mos)のみに基づいて,自己教師あり方式でそれらを導出する方法を実証する。
提案手法は, 視覚的および定量的に人間の予測に合致したfr-iqm指標を向上させる。
関連論文リスト
- ExIQA: Explainable Image Quality Assessment Using Distortion Attributes [0.3683202928838613]
本稿では属性学習に基づく歪み同定のための説明可能なアプローチを提案する。
効率的なトレーニングのために,10万の画像からなるデータセットを生成する。
提案手法はPLCCとSRCCの両方で複数のデータセットにまたがるSOTA(State-of-the-art)性能を実現する。
論文 参考訳（メタデータ） (2024-09-10T20:28:14Z) - Sliced Maximal Information Coefficient: A Training-Free Approach for Image Quality Assessment Enhancement [12.628718661568048]
我々は,人間の品質評価の過程を模倣する,一般化された視覚的注意度推定戦略を検討することを目的とする。
特に、劣化画像と参照画像の統計的依存性を測定することによって、人間の注意生成をモデル化する。
既存のIQAモデルのアテンションモジュールを組み込んだ場合、既存のIQAモデルの性能を一貫して改善できることを示す実験結果が得られた。
論文 参考訳（メタデータ） (2024-08-19T11:55:32Z) - DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
野生のブラインド画像品質評価(IQA)は重大な課題を呈している。
大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。
事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
論文 参考訳（メタデータ） (2024-05-30T12:32:35Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳（メタデータ） (2024-05-29T06:09:34Z) - Reference-Free Image Quality Metric for Degradation and Reconstruction Artifacts [2.5282283486446753]
品質要因予測器(QF)と呼ばれる基準のない品質評価ネットワークを開発する。
我々のQF予測器は7層からなる軽量で完全な畳み込みネットワークである。
JPEG圧縮画像パッチを入力としてランダムQFを受信し、対応するQFを正確に予測するように訓練する。
論文 参考訳（メタデータ） (2024-05-01T22:28:18Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Perceptual Attacks of No-Reference Image Quality Models with
Human-in-the-Loop [113.75573175709573]
NR-IQAモデルの知覚的堅牢性を調べるための最初の試みの1つを行う。
我々は,4つの完全参照IQAモデルの下で,知識駆動のNR-IQA法とデータ駆動のNR-IQA法を検証した。
4つのNR-IQAモデルは全て、提案した知覚的攻撃に対して脆弱であることがわかった。
論文 参考訳（メタデータ） (2022-10-03T13:47:16Z) - Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。
以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
論文 参考訳（メタデータ） (2022-07-25T17:58:16Z) - Conformer and Blind Noisy Students for Improved Image Quality Assessment [80.57006406834466]
知覚品質評価(IQA)のための学習ベースアプローチは、通常、知覚品質を正確に測定するために歪んだ画像と参照画像の両方を必要とする。
本研究では,変換器を用いた全参照IQAモデルの性能について検討する。
また,全教師モデルから盲人学生モデルへの半教師付き知識蒸留に基づくIQAの手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T10:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。