論文の概要: Learning Generalizable Perceptual Representations for Data-Efficient
No-Reference Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2312.04838v1
- Date: Fri, 8 Dec 2023 05:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 15:56:58.239866
- Title: Learning Generalizable Perceptual Representations for Data-Efficient
No-Reference Image Quality Assessment
- Title（参考訳）: データ効率非参照画像品質評価のための学習一般化された知覚表現
- Authors: Suhas Srinath, Shankhanil Mitra, Shika Rao and Rajiv Soundararajan
- Abstract要約: 最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。
低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。
両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
- 参考スコア（独自算出の注目度）: 7.291687946822539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: No-reference (NR) image quality assessment (IQA) is an important tool in
enhancing the user experience in diverse visual applications. A major drawback
of state-of-the-art NR-IQA techniques is their reliance on a large number of
human annotations to train models for a target IQA application. To mitigate
this requirement, there is a need for unsupervised learning of generalizable
quality representations that capture diverse distortions. We enable the
learning of low-level quality features agnostic to distortion types by
introducing a novel quality-aware contrastive loss. Further, we leverage the
generalizability of vision-language models by fine-tuning one such model to
extract high-level image quality information through relevant text prompts. The
two sets of features are combined to effectively predict quality by training a
simple regressor with very few samples on a target dataset. Additionally, we
design zero-shot quality predictions from both pathways in a completely blind
setting. Our experiments on diverse datasets encompassing various distortions
show the generalizability of the features and their superior performance in the
data-efficient and zero-shot settings. Code will be made available at
https://github.com/suhas-srinath/GRepQ.
- Abstract（参考訳）: no-reference (NR) Image Quality Assessment (IQA) は多様な視覚アプリケーションにおけるユーザエクスペリエンスを高める重要なツールである。
最先端のNR-IQA技術の大きな欠点は、ターゲットのIQAアプリケーションのためのモデルをトレーニングするための多数の人間のアノテーションに依存していることである。
この要求を緩和するためには、様々な歪みを捉える一般化可能な品質表現の教師なし学習が必要である。
我々は,新しい品質認識型コントラスト損失を導入することで,歪み型に非依存な低品質特徴の学習を可能にする。
さらに,視覚言語モデルの汎用性を活用し,関連するテキストプロンプトから高レベル画像品質情報を抽出する。
2つの特徴セットを組み合わせて、ターゲットデータセットにごく少数のサンプルを持つ単純な回帰器をトレーニングすることで、品質を効果的に予測する。
さらに,両経路からのゼロショット品質予測を,完全に盲目な設定で設計する。
様々な歪みを含む多様なデータセットに対する実験により,データ効率およびゼロショット設定における特徴の一般化性と優れた性能を示す。
コードはhttps://github.com/suhas-srinath/grepqで入手できる。
関連論文リスト
- Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。
Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。
コントリビューションの中心は、QGround-100Kデータセットの導入です。
論文 参考訳（メタデータ） (2024-07-24T06:42:46Z) - DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
拡散先行型IQA(DP-IQA)と呼ばれる新しいIQA法を提案する。
トレーニング済みの安定拡散をバックボーンとして使用し、復調するU-Netから多レベル特徴を抽出し、それらをデコードして画質スコアを推定する。
上記のモデルの知識をCNNベースの学生モデルに抽出し、適用性を高めるためにパラメータを大幅に削減する。
論文 参考訳（メタデータ） (2024-05-30T12:32:35Z) - Descriptive Image Quality Assessment in the Wild [25.503311093471076]
VLMに基づく画像品質評価(IQA)は、画像品質を言語的に記述し、人間の表現に合わせることを目指している。
野生における画像品質評価(DepictQA-Wild)について紹介する。
本手法は,評価タスクと比較タスク,簡潔かつ詳細な応答,完全参照,非参照シナリオを含む多機能IQAタスクパラダイムを含む。
論文 参考訳（メタデータ） (2024-05-29T07:49:15Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T11:45:32Z) - Blind Image Quality Assessment via Vision-Language Correspondence: A
Multitask Learning Perspective [93.56647950778357]
ブラインド画像品質評価(BIQA)は、参照情報なしで画像品質の人間の知覚を予測する。
我々は,他のタスクからの補助的知識を活用するために,BIQAのための汎用的かつ自動化されたマルチタスク学習手法を開発した。
論文 参考訳（メタデータ） (2023-03-27T07:58:09Z) - Learning from Mixed Datasets: A Monotonic Image Quality Assessment Model [17.19991754976893]
異なるデータセットを組み合わせたIQAモデル学習のための単調ニューラルネットワークを提案する。
特に,本モデルは,データセット共有品質回帰器と,データセット固有の品質変換器から構成される。
論文 参考訳（メタデータ） (2022-09-21T15:53:59Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳（メタデータ） (2021-12-01T13:23:00Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳（メタデータ） (2021-10-25T21:01:00Z) - No-Reference Image Quality Assessment via Feature Fusion and Multi-Task
Learning [29.19484863898778]
ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。
マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。
このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
論文 参考訳（メタデータ） (2020-06-06T05:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。