論文の概要: Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics
- arxiv url: http://arxiv.org/abs/2405.18790v1
- Date: Wed, 29 May 2024 06:09:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 18:38:40.070350
- Title: Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics
- Title（参考訳）: マルチスケールDeep Feature Statistics を用いたオピニオン・ウインドウ・ブラインド画像品質評価
- Authors: Zhangkai Ni, Yue Liu, Keyan Ding, Wenhan Yang, Hanli Wang, Shiqi Wang,
- Abstract要約: 我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
- 参考スコア（独自算出の注目度）: 54.08757792080732
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning-based methods have significantly influenced the blind image quality assessment (BIQA) field, however, these methods often require training using large amounts of human rating data. In contrast, traditional knowledge-based methods are cost-effective for training but face challenges in effectively extracting features aligned with human visual perception. To bridge these gaps, we propose integrating deep features from pre-trained visual models with a statistical analysis model into a Multi-scale Deep Feature Statistics (MDFS) model for achieving opinion-unaware BIQA (OU-BIQA), thereby eliminating the reliance on human rating data and significantly improving training efficiency. Specifically, we extract patch-wise multi-scale features from pre-trained vision models, which are subsequently fitted into a multivariate Gaussian (MVG) model. The final quality score is determined by quantifying the distance between the MVG model derived from the test image and the benchmark MVG model derived from the high-quality image set. A comprehensive series of experiments conducted on various datasets show that our proposed model exhibits superior consistency with human visual perception compared to state-of-the-art BIQA models. Furthermore, it shows improved generalizability across diverse target-specific BIQA tasks. Our code is available at: https://github.com/eezkni/MDFS
- Abstract（参考訳）: 深層学習に基づく手法はブラインド画像品質評価(BIQA)の分野に大きな影響を与えてきたが、これらの手法は多量の人間の評価データを用いたトレーニングを必要とすることが多い。
対照的に、従来の知識に基づく手法は訓練に費用対効果があるが、人間の視覚的知覚に沿った特徴を効果的に抽出する際の課題に直面している。
これらのギャップを埋めるために、我々は、事前学習された視覚モデルから統計解析モデルへの深い特徴を、意見不明なBIQA(OU-BIQA)を達成するためのマルチスケールDeep Feature Statistics(MDFS)モデルに統合し、人間のレーティングデータへの依存をなくし、トレーニング効率を著しく改善することを提案する。
具体的には、事前訓練された視覚モデルからパッチワイドなマルチスケール特徴を抽出し、その後、多変量ガウスモデル(MVG)に組み込む。
テスト画像から派生したMVGモデルと、高品質な画像集合から派生したベンチマークMVGモデルとの距離を定量化して最終品質スコアを決定する。
各種データセットを用いた総合的な実験の結果,提案モデルでは,最先端のBIQAモデルと比較して,人間の視覚知覚との整合性が良好であることが示された。
さらに、多様なターゲット固有のBIQAタスク間での一般化性の向上を示す。
私たちのコードは、https://github.com/eezkni/MDFSで利用可能です。
関連論文リスト
- DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
拡散先行型IQA(DP-IQA)と呼ばれる新しいIQA法を提案する。
トレーニング済みの安定拡散をバックボーンとして使用し、復調するU-Netから多レベル特徴を抽出し、それらをデコードして画質スコアを推定する。
上記のモデルの知識をCNNベースの学生モデルに抽出し、適用性を高めるためにパラメータを大幅に削減する。
論文 参考訳（メタデータ） (2024-05-30T12:32:35Z) - PTM-VQA: Efficient Video Quality Assessment Leveraging Diverse PreTrained Models from the Wild [27.195339506769457]
映像品質評価(VQA)は、映像の知覚品質に影響を与える多くの要因により難しい問題である。
ビデオに対する平均評価スコア(MOS)の注釈付けは高価で時間を要するため、VQAデータセットのスケールが制限される。
PTM-VQAと呼ばれるVQA手法を提案し、PreTrained Modelsを利用して、様々な事前タスクで事前訓練されたモデルから知識を伝達する。
論文 参考訳（メタデータ） (2024-05-28T02:37:29Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Learning Generalizable Perceptual Representations for Data-Efficient
No-Reference Image Quality Assessment [7.291687946822539]
最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。
低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。
両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
論文 参考訳（メタデータ） (2023-12-08T05:24:21Z) - MD-IQA: Learning Multi-scale Distributed Image Quality Assessment with
Semi Supervised Learning for Low Dose CT [6.158876574189994]
画像品質評価(IQA)は放射線線量最適化と新しい医用イメージング技術開発において重要な役割を担っている。
最近の深層学習に基づくアプローチは、強力なモデリング能力と医療IQAの可能性を示している。
本稿では,出力分布を制約して品質スコアを予測するため,マルチスケール分布回帰手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T09:33:33Z) - Domain Generalization for Mammographic Image Analysis with Contrastive
Learning [62.25104935889111]
効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。
より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。
提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
論文 参考訳（メタデータ） (2023-04-20T11:40:21Z) - Blind Multimodal Quality Assessment: A Brief Survey and A Case Study of
Low-light Images [73.27643795557778]
ブラインド画像品質評価(BIQA)は、視覚信号の客観的スコアを自動的に正確に予測することを目的としている。
この分野での最近の発展は、ヒトの主観的評価パターンと矛盾しない一助的解によって支配されている。
主観的評価から客観的スコアへの低照度画像の一意なブラインドマルチモーダル品質評価(BMQA)を提案する。
論文 参考訳（メタデータ） (2023-03-18T09:04:55Z) - Continual Learning for Blind Image Quality Assessment [80.55119990128419]
ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。
最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。
モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
論文 参考訳（メタデータ） (2021-02-19T03:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。