論文の概要: Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token

• arxiv url: http://arxiv.org/abs/2305.09353v1
• Date: Tue, 16 May 2023 11:17:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 15:17:28.944264
• Title: Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token
• Title（参考訳）: 変圧器予測誤差マップと知覚的品質トークンによるブラインド画像品質評価
• Authors: Jinsong Shi, Pan Gao, Aljosa Smolic
• Abstract要約: 近年,非参照画像品質評価(NR-IQA)が注目されている。 予測された客観的誤差マップと知覚的品質トークンを用いたTransformerベースのNR-IQAモデルを提案する。 提案手法は, 実画像データベースと合成画像データベースの両方において, 現在の最先端技術よりも優れている。
• 参考スコア（独自算出の注目度）: 19.67014524146261
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image quality assessment is a fundamental problem in the field of image processing, and due to the lack of reference images in most practical scenarios, no-reference image quality assessment (NR-IQA), has gained increasing attention recently. With the development of deep learning technology, many deep neural network-based NR-IQA methods have been developed, which try to learn the image quality based on the understanding of database information. Currently, Transformer has achieved remarkable progress in various vision tasks. Since the characteristics of the attention mechanism in Transformer fit the global perceptual impact of artifacts perceived by a human, Transformer is thus well suited for image quality assessment tasks. In this paper, we propose a Transformer based NR-IQA model using a predicted objective error map and perceptual quality token. Specifically, we firstly generate the predicted error map by pre-training one model consisting of a Transformer encoder and decoder, in which the objective difference between the distorted and the reference images is used as supervision. Then, we freeze the parameters of the pre-trained model and design another branch using the vision Transformer to extract the perceptual quality token for feature fusion with the predicted error map. Finally, the fused features are regressed to the final image quality score. Extensive experiments have shown that our proposed method outperforms the current state-of-the-art in both authentic and synthetic image databases. Moreover, the attentional map extracted by the perceptual quality token also does conform to the characteristics of the human visual system.
• Abstract（参考訳）: 画像品質評価は画像処理の分野における根本的な問題であり,ほとんどのシナリオにおいて参照画像が不足しているため,非参照画像品質評価(NR-IQA)が近年注目されている。 深層学習技術の発展に伴い,データベース情報の理解に基づいて画像品質を学習する深層ニューラルネットワークを用いたnr-iqa手法が数多く開発されている。 現在、トランスフォーマーは様々な視覚タスクで顕著な進歩を遂げている。 トランスフォーマーの注意機構の特徴は人間の知覚する人工物の世界的知覚的影響に適合するため,画像品質評価タスクには適している。 本稿では,予測対象エラーマップと知覚的品質トークンを用いたトランスフォーマティブベースのnr-iqaモデルを提案する。 具体的には、まず、歪みと基準画像との客観的な差を監督として用いるトランスエンコーダとデコーダからなる1つのモデルを事前訓練して予測誤差マップを生成する。 そして,事前学習したモデルのパラメータを凍結し,視覚変換器を用いて他の分岐を設計し,予測誤差マップと特徴融合するための知覚的品質トークンを抽出する。 最後に、融合した機能は最終的な画質スコアに回帰される。 大規模な実験により,提案手法は, 画像データベースと合成画像データベースの両方において, 現状よりも優れていた。 さらに、知覚的品質トークンによって抽出された注意マップも、人間の視覚システムの特徴に適合する。

関連論文リスト

• Attention Down-Sampling Transformer, Relative Ranking and Self-Consistency for Blind Image Quality Assessment [17.04649536069553]
  非参照画像品質評価は、元の参照なしで画像品質を推定する難しい領域である。 変換器エンコーダとCNNを用いて,画像から局所的および非局所的情報を抽出する機構を改良した。 非参照画像品質評価(NR-IQA)モデルの劣化に対処し,自己超越に対する自己整合性アプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T09:08:43Z)
• DSL-FIQA: Assessing Facial Image Quality via Dual-Set Degradation Learning and Landmark-Guided Transformer [23.70791030264281]
  Generic Face Image Quality Assessment (GFIQA) は、顔画像の知覚的品質を評価する。 本稿では,GFIQAのトランスフォーマーに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T23:11:25Z)
• Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
  ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。 我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。 我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
  論文  参考訳（メタデータ） (2024-05-14T12:43:43Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Helping Visually Impaired People Take Better Quality Pictures [52.03016269364854]
  我々は、視覚障害者が共通の技術的歪みの発生を最小限に抑えるためのツールを開発する。 また、ユーザによる品質問題の緩和を支援する、プロトタイプのフィードバックシステムも作成しています。
  論文  参考訳（メタデータ） (2023-05-14T04:37:53Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Textural-Structural Joint Learning for No-Reference Super-Resolution Image Quality Assessment [59.91741119995321]
  我々は、TSNetと呼ばれる品質予測のためのテキスト情報と構造情報を共同で探索するデュアルストリームネットワークを開発した。 画像の重要な領域に注意を払っている人間の視覚システム(HVS)を模倣することにより、視覚に敏感な領域をより区別しやすくするための空間的注意機構を開発する。 実験の結果,提案したTSNetは現状のIQA法よりも視覚的品質を正確に予測し,人間の視点との整合性を示した。
  論文  参考訳（メタデータ） (2022-05-27T09:20:06Z)
• Image Quality Assessment using Contrastive Learning [50.265638572116984]
  我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。 本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。 以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
  論文  参考訳（メタデータ） (2021-10-25T21:01:00Z)
• No-Reference Image Quality Assessment via Transformers, Relative Ranking, and Self-Consistency [38.88541492121366]
  No-Reference Image Quality Assessment (NR-IQA) の目的は、主観的評価に応じて知覚的画質を推定することである。 本稿では、変圧器における畳み込みニューラルネットワーク(CNN)と自己保持機構の利点を生かしたハイブリッドアプローチを利用して、NR-IQAタスクに対処する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-16T02:07:08Z)
• Perceptual Image Quality Assessment with Transformers [4.005576542371173]
  本論文では,フルリファレンス画像品質評価タスクにトランスアーキテクチャを適用した画像品質変換器(IQT)を提案する。 畳み込みニューラルネットワークのバックボーンを用いて,各入力画像から知覚的特徴表現を抽出する。 提案するiqtは,ntire 2021画像品質評価課題の参加者13名中,第1位にランクされた。
  論文  参考訳（メタデータ） (2021-04-30T02:45:29Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。