論文の概要: UNIQA: A Unified Framework for Both Full-Reference and No-Reference
Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2310.09560v1
- Date: Sat, 14 Oct 2023 11:03:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 19:42:02.663702
- Title: UNIQA: A Unified Framework for Both Full-Reference and No-Reference
Image Quality Assessment
- Title(参考訳): UNIQA: 完全な参照と非参照の画像品質評価のための統一フレームワーク
- Authors: Yi Ke Yun, Weisi Lin
- Abstract要約: 完全参照(FR)と非参照(NR)のIQAのための統一ネットワークを提案する。
入力画像から多レベル特徴を抽出するためにエンコーダを用いる。
FRおよびNR入力のユニバーサルアダプタとして階層自己認識(HSA)モジュールを提案する。
HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。
- 参考スコア(独自算出の注目度): 53.895598734070695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The human visual system (HVS) is effective at distinguishing low-quality
images due to its ability to sense the distortion level and the resulting
semantic impact. Prior research focuses on developing dedicated networks based
on the presence and absence of pristine images, respectively, and this results
in limited application scope and potential performance inconsistency when
switching from NR to FR IQA. In addition, most methods heavily rely on spatial
distortion modeling through difference maps or weighted features, and this may
not be able to well capture the correlations between distortion and the
semantic impact it causes. To this end, we aim to design a unified network for
both Full-Reference (FR) and No-Reference (NR) IQA via semantic impact
modeling. Specifically, we employ an encoder to extract multi-level features
from input images. Then a Hierarchical Self-Attention (HSA) module is proposed
as a universal adapter for both FR and NR inputs to model the spatial
distortion level at each encoder stage. Furthermore, considering that
distortions contaminate encoder stages and damage image semantic meaning
differently, a Cross-Scale Cross-Attention (CSCA) module is proposed to examine
correlations between distortion at shallow stages and deep ones. By adopting
HSA and CSCA, the proposed network can effectively perform both FR and NR IQA.
Extensive experiments demonstrate that the proposed simple network is effective
and outperforms the relevant state-of-the-art FR and NR methods on four
synthetic-distorted datasets and three authentic-distorted datasets.
- Abstract(参考訳): 人間の視覚システム(HVS)は、歪みレベルと結果として生じる意味的影響を感知する能力により、低品質の画像の識別に有効である。
先行研究は, プリスタン画像の存在と欠如に基づく専用ネットワークの開発に重点を置いており, NRからFR IQAへ切り替える際の適用範囲と潜在的な性能の不整合が限定されている。
加えて、ほとんどの手法は差分マップや重み付け特徴による空間的歪みモデリングに大きく依存しており、歪みとそれが引き起こす意味的影響の相関を適切に把握できない可能性がある。
そこで本研究では,意味的影響モデルを用いて,全参照(FR)と非参照(NR)のIQAのための統一ネットワークを設計することを目的とする。
具体的には,入力画像から多レベル特徴を抽出するエンコーダを用いる。
次に,各エンコーダにおける空間歪みレベルをモデル化するために,FR入力とNR入力の共通アダプタとして階層自己注意(HSA)モジュールを提案する。
さらに, エンコーダ段の歪みと損傷画像の意味が異なることを考慮し, 浅い段の歪みと深い段の歪みとの相関を調べるために, クロススケールクロス・アテンション(csca)モジュールを提案する。
HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。
広範な実験により,提案手法が有効であることが証明され,4つの合成データ集合と3つの真偽データ集合において,関連するfrおよびnr法を上回った。
関連論文リスト
- Diffusion Model Based Visual Compensation Guidance and Visual Difference
Analysis for No-Reference Image Quality Assessment [82.13830107682232]
本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。
生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。
2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
論文 参考訳(メタデータ) (2024-02-22T09:39:46Z) - Transformer-based No-Reference Image Quality Assessment via Supervised
Contrastive Learning [36.695247860715874]
本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。
まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。
画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。
7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-12T06:01:41Z) - Investigating Shift Equivalence of Convolutional Neural Networks in
Industrial Defect Segmentation [3.843350895842836]
産業欠陥分割タスクでは、モデルの出力整合性(等価性とも呼ばれる)がしばしば見過ごされる。
CNNにおける従来のサンプリングレイヤの代替として,コンポーネントアテンション多相サンプリング(CAPS)と呼ばれる新しいダウン/アップサンプリング層が提案されている。
マイクロサーフェス欠陥(MSD)データセットと4つの実世界の産業的欠陥データセットの実験結果から,提案手法は高い等価性とセグメンテーション性能を示すことが示された。
論文 参考訳(メタデータ) (2023-09-29T00:04:47Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳(メタデータ) (2021-12-01T13:23:00Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳(メタデータ) (2021-10-25T21:01:00Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳(メタデータ) (2021-06-24T12:23:05Z) - Label Geometry Aware Discriminator for Conditional Generative Networks [40.89719383597279]
条件付きGenerative Adversarial Networks(GAN)は、目的のターゲットクラスで高画質の画像を生成することができます。
これらの合成画像は、画像分類などの下流監督タスクを改善するために必ずしも役に立たない。
論文 参考訳(メタデータ) (2021-05-12T08:17:25Z) - Region-Adaptive Deformable Network for Image Quality Assessment [16.03642709194366]
画像復元および強化タスクでは、生成逆転ネットワーク(GAN)によって生成された画像は、従来のCNN生成画像よりも優れた視覚性能を達成できます。
GANに基づく歪みに対するIQAネットワークの性能を向上させるための参照指向の変形可能な畳み込みを提案する。
NTIRE 2021 Perceptual Image Quality Assessment Challengeデータセットの実験結果は、RADNの優れた性能を示している。
論文 参考訳(メタデータ) (2021-04-23T13:47:20Z) - Hierarchical Deep CNN Feature Set-Based Representation Learning for
Robust Cross-Resolution Face Recognition [59.29808528182607]
クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。
既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。
本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
論文 参考訳(メタデータ) (2021-03-25T14:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。