論文の概要: Data-Efficient Image Quality Assessment with Attention-Panel Decoder
- arxiv url: http://arxiv.org/abs/2304.04952v1
- Date: Tue, 11 Apr 2023 03:52:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-12 16:16:26.172107
- Title: Data-Efficient Image Quality Assessment with Attention-Panel Decoder
- Title(参考訳): 注意パスデコーダを用いたデータ効率の良い画像品質評価
- Authors: Guanyi Qin, Runze Hu, Yutao Liu, Xiawu Zheng, Haotian Liu, Xiu Li, Yan
Zhang
- Abstract要約: ブラインド画像品質評価(BIQA)はコンピュータビジョンの基本課題であり、複雑な歪み条件と多様な画像内容のために未解決のままである。
本稿では,トランスフォーマーアーキテクチャに基づく新しいBIQAパイプラインを提案する。
- 参考スコア(独自算出の注目度): 19.987556370430806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Blind Image Quality Assessment (BIQA) is a fundamental task in computer
vision, which however remains unresolved due to the complex distortion
conditions and diversified image contents. To confront this challenge, we in
this paper propose a novel BIQA pipeline based on the Transformer architecture,
which achieves an efficient quality-aware feature representation with much
fewer data. More specifically, we consider the traditional fine-tuning in BIQA
as an interpretation of the pre-trained model. In this way, we further
introduce a Transformer decoder to refine the perceptual information of the CLS
token from different perspectives. This enables our model to establish the
quality-aware feature manifold efficiently while attaining a strong
generalization capability. Meanwhile, inspired by the subjective evaluation
behaviors of human, we introduce a novel attention panel mechanism, which
improves the model performance and reduces the prediction uncertainty
simultaneously. The proposed BIQA method maintains a lightweight design with
only one layer of the decoder, yet extensive experiments on eight standard BIQA
datasets (both synthetic and authentic) demonstrate its superior performance to
the state-of-the-art BIQA methods, i.e., achieving the SRCC values of 0.875
(vs. 0.859 in LIVEC) and 0.980 (vs. 0.969 in LIVE).
- Abstract(参考訳): ブラインド画像品質評価(BIQA)はコンピュータビジョンの基本課題であるが、複雑な歪み条件と多様な画像内容のために未解決のままである。
そこで本研究では,トランスフォーマーアーキテクチャに基づく新しいbiqaパイプラインを提案する。
より具体的には、BIQAにおける従来の微調整は、事前訓練されたモデルの解釈であると考えている。
このようにして、異なる視点からCLSトークンの知覚情報を洗練するためのTransformerデコーダも導入する。
これにより,高品質な特徴多様体を効率的に確立し,強力な一般化能力を実現することができる。
一方,人間の主観的評価行動に触発されて,モデル性能を改善し,同時に予測の不確実性を低減する新しい注意パネル機構を導入する。
提案したBIQA法は、デコーダの1層のみで軽量な設計を維持しているが、8つの標準BIQAデータセット(合成および認証の両方)の広範な実験では、最先端のBIQA法よりも優れた性能を示しており、すなわち、SRCC値が0.875(LIVECでは0.859)と0.980(LIVEでは0.969)である。
関連論文リスト
- Scale Contrastive Learning with Selective Attentions for Blind Image Quality Assessment [15.235786583920062]
ブラインド画像品質評価(BIQA)はコンピュータビジョンの基本課題であるが、人間の主観的知覚と一貫して一致しないことが多い。
近年の進歩は、人間の視覚の階層構造を再現できるため、マルチスケール評価戦略が有望であることを示している。
本稿では,異なるスケールにわたる情報の顕著な冗長性と,これらのスケールの特徴を組み合わせることで生じる混乱という,2つの主要な課題に対処する。
論文 参考訳(メタデータ) (2024-11-13T20:17:30Z) - Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。
GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。
5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2024-09-09T07:26:21Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - A Lightweight Parallel Framework for Blind Image Quality Assessment [7.9562077122537875]
ブラインド画像品質評価(BIQA)のための軽量並列フレームワーク(LPF)を提案する。
まず,事前学習した特徴抽出ネットワークを用いて視覚特徴を抽出し,視覚特徴を変換するための簡易で効果的な特徴埋め込みネットワーク(FEN)を構築した。
本稿では,サンプルレベルのカテゴリ予測タスクとバッチレベルの品質比較タスクを含む,新たな2つのサブタスクを提案する。
論文 参考訳(メタデータ) (2024-02-19T10:56:58Z) - Feature Denoising Diffusion Model for Blind Image Quality Assessment [58.5808754919597]
Blind Image Quality Assessment (BIQA) は、基準ベンチマークを使わずに、人間の知覚に合わせて画質を評価することを目的としている。
ディープラーニング BIQA の手法は、一般的に、伝達学習のための高レベルのタスクの特徴の使用に依存する。
本稿では,BIQAにおける特徴認知のための拡散モデルについて検討する。
論文 参考訳(メタデータ) (2024-01-22T13:38:24Z) - Less is More: Learning Reference Knowledge Using No-Reference Image
Quality Assessment [58.09173822651016]
No-Reference Image Quality Assessment 設定で参照知識を学習することは可能であると論じる。
非整列参照画像から比較知識を学習するための新しいフレームワークを提案する。
8つの標準NR-IQAデータセットの実験は、最先端のNR-IQA法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-12-01T13:56:01Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z) - Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and
Wild [98.48284827503409]
我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。
我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。
6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
論文 参考訳(メタデータ) (2020-05-28T13:35:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。