論文の概要: UNIQA: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2310.09560v1
• Date: Sat, 14 Oct 2023 11:03:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 19:42:02.663702
• Title: UNIQA: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment
• Title（参考訳）: UNIQA: 完全な参照と非参照の画像品質評価のための統一フレームワーク
• Authors: Yi Ke Yun, Weisi Lin
• Abstract要約: 完全参照(FR)と非参照(NR)のIQAのための統一ネットワークを提案する。 入力画像から多レベル特徴を抽出するためにエンコーダを用いる。 FRおよびNR入力のユニバーサルアダプタとして階層自己認識(HSA)モジュールを提案する。 HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。
• 参考スコア（独自算出の注目度）: 53.895598734070695
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The human visual system (HVS) is effective at distinguishing low-quality images due to its ability to sense the distortion level and the resulting semantic impact. Prior research focuses on developing dedicated networks based on the presence and absence of pristine images, respectively, and this results in limited application scope and potential performance inconsistency when switching from NR to FR IQA. In addition, most methods heavily rely on spatial distortion modeling through difference maps or weighted features, and this may not be able to well capture the correlations between distortion and the semantic impact it causes. To this end, we aim to design a unified network for both Full-Reference (FR) and No-Reference (NR) IQA via semantic impact modeling. Specifically, we employ an encoder to extract multi-level features from input images. Then a Hierarchical Self-Attention (HSA) module is proposed as a universal adapter for both FR and NR inputs to model the spatial distortion level at each encoder stage. Furthermore, considering that distortions contaminate encoder stages and damage image semantic meaning differently, a Cross-Scale Cross-Attention (CSCA) module is proposed to examine correlations between distortion at shallow stages and deep ones. By adopting HSA and CSCA, the proposed network can effectively perform both FR and NR IQA. Extensive experiments demonstrate that the proposed simple network is effective and outperforms the relevant state-of-the-art FR and NR methods on four synthetic-distorted datasets and three authentic-distorted datasets.
• Abstract（参考訳）: 人間の視覚システム(HVS)は、歪みレベルと結果として生じる意味的影響を感知する能力により、低品質の画像の識別に有効である。 先行研究は, プリスタン画像の存在と欠如に基づく専用ネットワークの開発に重点を置いており, NRからFR IQAへ切り替える際の適用範囲と潜在的な性能の不整合が限定されている。 加えて、ほとんどの手法は差分マップや重み付け特徴による空間的歪みモデリングに大きく依存しており、歪みとそれが引き起こす意味的影響の相関を適切に把握できない可能性がある。 そこで本研究では,意味的影響モデルを用いて,全参照(FR)と非参照(NR)のIQAのための統一ネットワークを設計することを目的とする。 具体的には,入力画像から多レベル特徴を抽出するエンコーダを用いる。 次に,各エンコーダにおける空間歪みレベルをモデル化するために,FR入力とNR入力の共通アダプタとして階層自己注意(HSA)モジュールを提案する。 さらに, エンコーダ段の歪みと損傷画像の意味が異なることを考慮し, 浅い段の歪みと深い段の歪みとの相関を調べるために, クロススケールクロス・アテンション(csca)モジュールを提案する。 HSA と CSCA を採用することにより,提案ネットワークは FR と NR IQA の両方を効果的に実行することができる。 広範な実験により,提案手法が有効であることが証明され,4つの合成データ集合と3つの真偽データ集合において,関連するfrおよびnr法を上回った。

関連論文リスト

• LAR-IQA: A Lightweight, Accurate, and Robust No-Reference Image Quality Assessment Model [6.074775040047959]
  我々は,ECCV AIM UHD-IQAチャレンジ検証とテストデータセット上での最先端(SOTA)性能を実現する,コンパクトで軽量なNR-IQAモデルを提案する。 本モデルでは,合成および音響的に歪んだ画像に対して,各枝を個別に訓練した二重ブランチアーキテクチャを特徴とする。 各種オープンソースデータセットを考慮した評価では,提案した軽量モデルの実用的,高精度,堅牢な性能を強調した。
  論文  参考訳（メタデータ） (2024-08-30T07:32:19Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• A Lightweight Parallel Framework for Blind Image Quality Assessment [7.9562077122537875]
  ブラインド画像品質評価(BIQA)のための軽量並列フレームワーク(LPF)を提案する。 まず,事前学習した特徴抽出ネットワークを用いて視覚特徴を抽出し,視覚特徴を変換するための簡易で効果的な特徴埋め込みネットワーク(FEN)を構築した。 本稿では,サンプルレベルのカテゴリ予測タスクとバッチレベルの品質比較タスクを含む,新たな2つのサブタスクを提案する。
  論文  参考訳（メタデータ） (2024-02-19T10:56:58Z)
• Learning Transformer Features for Image Quality Assessment [53.51379676690971]
  本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。 提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
  論文  参考訳（メタデータ） (2021-12-01T13:23:00Z)
• Degraded Reference Image Quality Assessment [23.871178105179883]
  劣化参照IQA(DR IQA)と呼ばれる新しいパラダイムの確立に向けた最初の試みの1つを行う。 具体的には、DR IQAのアーキテクチャをレイアウトし、構成の選択を示す6ビットコードを導入する。 DR IQA専用の最初の大規模データベースを構築し,公開する。
  論文  参考訳（メタデータ） (2021-10-28T05:50:59Z)
• MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
  本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。 まず、様々な歪みに対してNR-IQAタスクを収集する。 次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。 大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-04-11T23:36:36Z)
• Feature Quantization Improves GAN Training [126.02828112121874]
  識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。 本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
  論文  参考訳（メタデータ） (2020-04-05T04:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。