論文の概要: No-Reference Image Quality Assessment via Transformers, Relative
Ranking, and Self-Consistency
- arxiv url: http://arxiv.org/abs/2108.06858v1
- Date: Mon, 16 Aug 2021 02:07:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-17 15:05:26.137567
- Title: No-Reference Image Quality Assessment via Transformers, Relative
Ranking, and Self-Consistency
- Title（参考訳）: 変圧器, 相対ランク, 自己整合による非参照画像品質評価
- Authors: S. Alireza Golestaneh, Saba Dadsetan, Kris M. Kitani
- Abstract要約: No-Reference Image Quality Assessment (NR-IQA) の目的は、主観的評価に応じて知覚的画質を推定することである。
本稿では、変圧器における畳み込みニューラルネットワーク(CNN)と自己保持機構の利点を生かしたハイブリッドアプローチを利用して、NR-IQAタスクに対処する新しいモデルを提案する。
- 参考スコア（独自算出の注目度）: 38.88541492121366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of No-Reference Image Quality Assessment (NR-IQA) is to estimate the
perceptual image quality in accordance with subjective evaluations, it is a
complex and unsolved problem due to the absence of the pristine reference
image. In this paper, we propose a novel model to address the NR-IQA task by
leveraging a hybrid approach that benefits from Convolutional Neural Networks
(CNNs) and self-attention mechanism in Transformers to extract both local and
non-local features from the input image. We capture local structure information
of the image via CNNs, then to circumvent the locality bias among the extracted
CNNs features and obtain a non-local representation of the image, we utilize
Transformers on the extracted features where we model them as a sequential
input to the Transformer model. Furthermore, to improve the monotonicity
correlation between the subjective and objective scores, we utilize the
relative distance information among the images within each batch and enforce
the relative ranking among them. Last but not least, we observe that the
performance of NR-IQA models degrades when we apply equivariant transformations
(e.g. horizontal flipping) to the inputs. Therefore, we propose a method that
leverages self-consistency as a source of self-supervision to improve the
robustness of NRIQA models. Specifically, we enforce self-consistency between
the outputs of our quality assessment model for each image and its
transformation (horizontally flipped) to utilize the rich self-supervisory
information and reduce the uncertainty of the model. To demonstrate the
effectiveness of our work, we evaluate it on seven standard IQA datasets (both
synthetic and authentic) and show that our model achieves state-of-the-art
results on various datasets.
- Abstract（参考訳）: No-Reference Image Quality Assessment (NR-IQA)の目標は、主観的評価に基づいて知覚画像の品質を推定することであり、プリスタン参照画像が存在しないため複雑で未解決な問題である。
本稿では、変換器における畳み込みニューラルネットワーク(CNN)と自己保持機構を利用して、入力画像から局所的特徴と非局所的特徴の両方を抽出することにより、NR-IQAタスクに対処する新しいモデルを提案する。
cnnsを介して画像の局所構造情報を取り込み、抽出したcnns特徴間の局所バイアスを回避し、画像の非局所表現を得るため、抽出された特徴のトランスフォーマを使用して、トランスフォーマモデルへの逐次入力としてモデル化する。
さらに、主観的スコアと目的スコアの単調性相関を改善するために、各バッチ内の画像間の相対的距離情報を利用し、それらの相対的ランキングを強制する。
最後に、NR-IQAモデルの性能は等変変換を適用すると劣化する(例)。
入力に対する水平反転)。
そこで本研究では,NRIQAモデルのロバスト性を改善するために,自己整合性を自己超越の源として活用する手法を提案する。
具体的には、各画像の品質評価モデルの出力と変換(水平反転)との間の自己整合性を適用し、リッチな自己監督情報を活用し、モデルの不確実性を低減する。
本研究の有効性を実証するため, 標準IQAデータセット(合成および認証の両方)を用いて評価し, 各種データセットの最先端結果が得られたことを示す。
関連論文リスト
- Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment [17.04649536069553]
非参照画像品質評価は、元の参照なしで画像品質を推定する難しい領域である。
変換器エンコーダとCNNを用いて,画像から局所的および非局所的情報を抽出する機構を改良した。
非参照画像品質評価(NR-IQA)モデルの劣化に対処し,自己超越に対する自己整合性アプローチを提案する。
論文 参考訳（メタデータ） (2024-09-11T09:08:43Z) - Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。
セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。
最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
論文 参考訳（メタデータ） (2024-04-27T02:40:36Z) - Transformer-based No-Reference Image Quality Assessment via Supervised
Contrastive Learning [36.695247860715874]
本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。
まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。
画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。
7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-12-12T06:01:41Z) - DeepDC: Deep Distance Correlation as a Perceptual Image Quality
Evaluator [53.57431705309919]
ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。
我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。
5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
論文 参考訳（メタデータ） (2022-11-09T14:57:27Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳（メタデータ） (2022-06-29T15:22:01Z) - Attentions Help CNNs See Better: Attention-based Hybrid Image Quality
Assessment Network [20.835800149919145]
画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。
GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。
本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
論文 参考訳（メタデータ） (2022-04-22T03:59:18Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳（メタデータ） (2021-12-01T13:23:00Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。