論文の概要: Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network

• arxiv url: http://arxiv.org/abs/2204.10485v1
• Date: Fri, 22 Apr 2022 03:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-25 13:48:22.183377
• Title: Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network
• Title（参考訳）: 注意に基づくハイブリッド画像品質評価ネットワーク、CNNが改善に役立つ
• Authors: Shanshan Lao, Yuan Gong, Shuwei Shi, Sidi Yang, Tianhe Wu, Jiahao Wang, Weihao Xia, Yujiu Yang
• Abstract要約: 画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。 GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。 本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
• 参考スコア（独自算出の注目度）: 20.835800149919145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image quality assessment (IQA) algorithm aims to quantify the human perception of image quality. Unfortunately, there is a performance drop when assessing the distortion images generated by generative adversarial network (GAN) with seemingly realistic texture. In this work, we conjecture that this maladaptation lies in the backbone of IQA models, where patch-level prediction methods use independent image patches as input to calculate their scores separately, but lack spatial relationship modeling among image patches. Therefore, we propose an Attention-based Hybrid Image Quality Assessment Network (AHIQ) to deal with the challenge and get better performance on the GAN-based IQA task. Firstly, we adopt a two-branch architecture, including a vision transformer (ViT) branch and a convolutional neural network (CNN) branch for feature extraction. The hybrid architecture combines interaction information among image patches captured by ViT and local texture details from CNN. To make the features from shallow CNN more focused on the visually salient region, a deformable convolution is applied with the help of semantic information from the ViT branch. Finally, we use a patch-wise score prediction module to obtain the final score. The experiments show that our model outperforms the state-of-the-art methods on four standard IQA datasets and AHIQ ranked first on the Full Reference (FR) track of the NTIRE 2022 Perceptual Image Quality Assessment Challenge.
• Abstract（参考訳）: 画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化する。 残念ながら、GAN(Generative Adversarial Network)によって生成された歪み画像を現実的なテクスチャで評価する際の性能低下がある。 そこで,本研究では,パッチレベルの予測手法が独立なイメージパッチを入力としてスコアを別々に計算するが,画像パッチ間の空間的関係モデリングを欠くという,iqaモデルのバックボーンにあると推測する。 そこで本研究では,gan ベースの iqa タスクにおいて,課題に対処し,よりよい性能を得るための注意に基づくハイブリッド画像品質評価ネットワーク (ahiq) を提案する。 まず、視覚変換器(ViT)ブランチと畳み込みニューラルネットワーク(CNN)ブランチを含む2分岐アーキテクチャを特徴抽出に適用する。 ハイブリッドアーキテクチャは、ViTがキャプチャした画像パッチ間のインタラクション情報と、CNNのローカルテクスチャの詳細を組み合わせる。 浅層CNNの特徴をより視覚的に正常な領域に集中させるために、ViTブランチからのセマンティック情報の助けを借りて変形可能な畳み込みを適用する。 最後に,パッチワイズスコア予測モジュールを用いて最終スコアを得る。 実験の結果,NTIRE 2022 Perceptual Image Quality Assessment Challengeのフルリファレンス(FR)トラックにおいて,本モデルが4つの標準IQAデータセット上で最先端の手法よりも優れていることがわかった。

関連論文リスト

• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• DeepDC: Deep Distance Correlation as a Perceptual Image Quality Evaluator [53.57431705309919]
  ImageNet Pre-trained Deep Neural Network (DNN)は、効果的な画像品質評価(IQA)モデルを構築するための顕著な転送性を示す。 我々は,事前学習DNN機能のみに基づく新しいフル参照IQA(FR-IQA)モデルを開発した。 5つの標準IQAデータセット上で,提案した品質モデルの優位性を示すため,包括的実験を行った。
  論文  参考訳（メタデータ） (2022-11-09T14:57:27Z)
• MANIQA: Multi-dimension Attention Network for No-Reference Image Quality Assessment [18.637040004248796]
  No-Reference Image Quality Assessment (NR-IQA) は、人間の主観的知覚に応じて画像の知覚品質を評価することを目的としている。 既存のNR-IQA法は、GANに基づく歪み画像の正確な品質スコアを予測する必要性を満たすには程遠い。 本稿では,非参照画像品質評価(MANIQA)のための多次元注意ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-04-19T15:56:43Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Region-Adaptive Deformable Network for Image Quality Assessment [16.03642709194366]
  画像復元および強化タスクでは、生成逆転ネットワーク(GAN)によって生成された画像は、従来のCNN生成画像よりも優れた視覚性能を達成できます。 GANに基づく歪みに対するIQAネットワークの性能を向上させるための参照指向の変形可能な畳み込みを提案する。 NTIRE 2021 Perceptual Image Quality Assessment Challengeデータセットの実験結果は、RADNの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-04-23T13:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。