論文の概要: You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2310.09560v2
- Date: Sat, 6 Apr 2024 03:17:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 02:35:24.550471
- Title: You Only Train Once: A Unified Framework for Both Full-Reference and No-Reference Image Quality Assessment
- Title（参考訳）: 一度だけトレーニングする: フル参照とノン参照の両方の画質評価のための統一フレームワーク
- Authors: Yi Ke Yun, Weisi Lin,
- Abstract要約: 本稿では,完全な参照 (FR) と非参照 (NR) IQA を行うネットワークを提案する。
まず、入力画像から多レベル特徴を抽出するためにエンコーダを用いる。
FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。
エンコーダの浅い層と深い層との間の特徴相関を調べるために, セマンティック・ディストーション・アウェア (SDA) モジュールを提案する。
- 参考スコア（独自算出の注目度）: 45.62136459502005
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although recent efforts in image quality assessment (IQA) have achieved promising performance, there still exists a considerable gap compared to the human visual system (HVS). One significant disparity lies in humans' seamless transition between full reference (FR) and no reference (NR) tasks, whereas existing models are constrained to either FR or NR tasks. This disparity implies the necessity of designing two distinct systems, thereby greatly diminishing the model's versatility. Therefore, our focus lies in unifying FR and NR IQA under a single framework. Specifically, we first employ an encoder to extract multi-level features from input images. Then a Hierarchical Attention (HA) module is proposed as a universal adapter for both FR and NR inputs to model the spatial distortion at each encoder stage. Furthermore, considering that different distortions contaminate encoder stages and damage image semantic meaning differently, a Semantic Distortion Aware (SDA) module is proposed to examine feature correlations between shallow and deep layers of the encoder. By adopting HA and SDA, the proposed network can effectively perform both FR and NR IQA. When our proposed model is independently trained on NR or FR IQA tasks, it outperforms existing models and achieves state-of-the-art performance. Moreover, when trained jointly on NR and FR IQA tasks, it further enhances the performance of NR IQA while achieving on-par performance in the state-of-the-art FR IQA. You only train once to perform both IQA tasks. Code will be released at: https://github.com/BarCodeReader/YOTO.
- Abstract（参考訳）: 近年,画像品質評価 (IQA) の取り組みは有望な成果を上げているが,人間の視覚システム (HVS) と比較して大きな差がある。
人間の完全な参照(FR)タスクと参照(NR)タスクのシームレスな遷移には大きな違いがあるが、既存のモデルはFRまたはNRタスクに制約されている。
この格差は、2つの異なるシステムを設計する必要があることを意味し、それによってモデルの汎用性が大幅に低下する。
したがって、一つの枠組みの下でFRとNR IQAを統合することに重点を置いている。
具体的には、まずエンコーダを用いて入力画像から多レベル特徴を抽出する。
そして、各エンコーダ段階での空間歪みをモデル化するために、FRおよびNR入力のユニバーサルアダプタとして階層的注意(HA)モジュールを提案する。
さらに、異なる歪みがエンコーダのステージと損傷画像の意味を異なる意味で汚染することを考慮すると、エンコーダの浅い層と深い層の特徴相関を調べるために、セマンティック・ディストーション・アウェア(SDA)モジュールを提案する。
HAとSDAを採用することにより、提案ネットワークはFRとNRのIQAの両方を効果的に実行することができる。
提案モデルがNRまたはFR IQAタスクで独立に訓練された場合、既存のモデルよりも優れ、最先端のパフォーマンスを実現する。
さらに、NR IQAタスクとFR IQAタスクを共同でトレーニングすると、最先端のFR IQAにおいてオンパー性能を実現しつつ、NR IQAの性能をさらに向上する。
IQAタスクの両方を実行するために、一度だけトレーニングします。
コードは、https://github.com/BarCodeReader/YOTO.comでリリースされる。
関連論文リスト
- LAR-IQA: A Lightweight, Accurate, and Robust No-Reference Image Quality Assessment Model [6.074775040047959]
我々は,ECCV AIM UHD-IQAチャレンジ検証とテストデータセット上での最先端(SOTA)性能を実現する,コンパクトで軽量なNR-IQAモデルを提案する。
本モデルでは,合成および音響的に歪んだ画像に対して,各枝を個別に訓練した二重ブランチアーキテクチャを特徴とする。
各種オープンソースデータセットを考慮した評価では,提案した軽量モデルの実用的,高精度,堅牢な性能を強調した。
論文 参考訳（メタデータ） (2024-08-30T07:32:19Z) - DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
野生のブラインド画像品質評価(IQA)は重大な課題を呈している。
大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。
事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
論文 参考訳（メタデータ） (2024-05-30T12:32:35Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - A Lightweight Parallel Framework for Blind Image Quality Assessment [7.9562077122537875]
ブラインド画像品質評価(BIQA)のための軽量並列フレームワーク(LPF)を提案する。
まず,事前学習した特徴抽出ネットワークを用いて視覚特徴を抽出し,視覚特徴を変換するための簡易で効果的な特徴埋め込みネットワーク(FEN)を構築した。
本稿では,サンプルレベルのカテゴリ予測タスクとバッチレベルの品質比較タスクを含む,新たな2つのサブタスクを提案する。
論文 参考訳（メタデータ） (2024-02-19T10:56:58Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳（メタデータ） (2021-12-01T13:23:00Z) - Degraded Reference Image Quality Assessment [23.871178105179883]
劣化参照IQA(DR IQA)と呼ばれる新しいパラダイムの確立に向けた最初の試みの1つを行う。
具体的には、DR IQAのアーキテクチャをレイアウトし、構成の選択を示す6ビットコードを導入する。
DR IQA専用の最初の大規模データベースを構築し,公開する。
論文 参考訳（メタデータ） (2021-10-28T05:50:59Z) - MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。
まず、様々な歪みに対してNR-IQAタスクを収集する。
次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。
大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
論文 参考訳（メタデータ） (2020-04-11T23:36:36Z) - Feature Quantization Improves GAN Training [126.02828112121874]
識別器の特徴量子化(FQ)は、真と偽のデータの両方を共有離散空間に埋め込む。
本手法は,既存のGANモデルに容易に接続でき,訓練における計算オーバーヘッドがほとんどない。
論文 参考訳（メタデータ） (2020-04-05T04:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。