論文の概要: Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2312.06995v1
• Date: Tue, 12 Dec 2023 06:01:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:09:58.447834
• Title: Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習によるトランスフォーマーによる非参照画像品質評価
• Authors: Jinsong Shi, Pan Gao, Jie Qin
• Abstract要約: 本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 36.695247860715874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image Quality Assessment (IQA) has long been a research hotspot in the field of image processing, especially No-Reference Image Quality Assessment (NR-IQA). Due to the powerful feature extraction ability, existing Convolution Neural Network (CNN) and Transformers based NR-IQA methods have achieved considerable progress. However, they still exhibit limited capability when facing unknown authentic distortion datasets. To further improve NR-IQA performance, in this paper, a novel supervised contrastive learning (SCL) and Transformer-based NR-IQA model SaTQA is proposed. We first train a model on a large-scale synthetic dataset by SCL (no image subjective score is required) to extract degradation features of images with various distortion types and levels. To further extract distortion information from images, we propose a backbone network incorporating the Multi-Stream Block (MSB) by combining the CNN inductive bias and Transformer long-term dependence modeling capability. Finally, we propose the Patch Attention Block (PAB) to obtain the final distorted image quality score by fusing the degradation features learned from contrastive learning with the perceptual distortion information extracted by the backbone network. Experimental results on seven standard IQA datasets show that SaTQA outperforms the state-of-the-art methods for both synthetic and authentic datasets. Code is available at https://github.com/I2-Multimedia-Lab/SaTQA
• Abstract（参考訳）: 画像品質評価(IQA)は、画像処理分野、特にNo-Reference Image Quality Assessment(NR-IQA)における研究ホットスポットである。 強力な特徴抽出能力のため、既存の畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースのNR-IQA法は大きな進歩を遂げた。 しかし、未知の真の歪みデータセットに直面すると、まだ限られた能力を示す。 NR-IQAの性能をさらに向上するために、新しい教師付きコントラスト学習(SCL)とトランスフォーマーベースのNR-IQAモデルSaTQAを提案する。 まず,scl(画像主観スコア不要)による大規模合成データセット上でのモデルを訓練し,歪みの種類やレベルの異なる画像の劣化特性を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 最後に,比較学習から得られた劣化特徴と,背骨ネットワークが抽出した知覚歪み情報とを融合させて,最終的な歪み画像品質スコアを得るためのパッチ注意ブロック(PAB)を提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法よりも優れていた。 コードはhttps://github.com/I2-Multimedia-Lab/SaTQAで入手できる。

関連論文リスト

• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Cross-IQA: Unsupervised Learning for Image Quality Assessment [3.2287957986061038]
  本稿では,視覚変換器(ViT)モデルに基づく非参照画像品質評価(NR-IQA)手法を提案する。 提案手法は,ラベルのない画像データから画像品質の特徴を学習することができる。 実験結果から,Cross-IQAは低周波劣化情報の評価において最先端の性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-07T13:35:51Z)
• Large Multi-modality Model Assisted AI-Generated Image Quality Assessment [53.182136445844904]
  本稿では,AI生成画像品質評価モデル(MA-AGIQA)を提案する。 セマンティックインフォームドガイダンスを使用して意味情報を感知し、慎重に設計されたテキストプロンプトを通してセマンティックベクターを抽出する。 最先端のパフォーマンスを実現し、AI生成画像の品質を評価する上で優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-04-27T02:40:36Z)
• Diffusion Model Based Visual Compensation Guidance and Visual Difference Analysis for No-Reference Image Quality Assessment [82.13830107682232]
  本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。 生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。 2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
  論文  参考訳（メタデータ） (2024-02-22T09:39:46Z)
• CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
  知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。 本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。 本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-29T15:22:01Z)
• Attentions Help CNNs See Better: Attention-based Hybrid Image Quality Assessment Network [20.835800149919145]
  画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。 GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。 本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:59:18Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• Multi-pooled Inception features for no-reference image quality assessment [0.0]
  畳み込みニューラルネットワーク(CNN)を用いた画像品質評価の新しい手法を提案する。 従来の手法とは対照的に、入力画像からパッチを取らない。代わりに、入力画像は全体として処理され、事前訓練されたCNN本体を通して実行され、解像度に依存しない多段階の深い特徴を抽出する。 我々は、MultiGAP-NRIQAと呼ばれるベストな提案が、3つのベンチマークIQAデータベースに対して最先端の結果を提供することができることを実証した。
  論文  参考訳（メタデータ） (2020-11-10T15:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。