論文の概要: Few-Shot Image Quality Assessment via Adaptation of Vision-Language Models
- arxiv url: http://arxiv.org/abs/2409.05381v2
- Date: Sun, 21 Sep 2025 04:48:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:15.606553
- Title: Few-Shot Image Quality Assessment via Adaptation of Vision-Language Models
- Title(参考訳): 視覚言語モデルの適応による画像品質評価
- Authors: Xudong Li, Zihao Huang, Yan Zhang, Yunhang Shen, Ke Li, Xiawu Zheng, Liujuan Cao, Rongrong Ji,
- Abstract要約: Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA) は、視覚言語事前学習モデルのCLIPをIQAタスクに効率よく適応させるように設計されている。
GRMP-IQAは、 (i) Meta-Prompt 事前学習モジュールと (ii) Quality-Aware Gradient Regularization の2つのコアモジュールから構成される。
- 参考スコア(独自算出の注目度): 93.91086467402323
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image Quality Assessment (IQA) remains an unresolved challenge in computer vision due to complex distortions, diverse image content, and limited data availability. Existing Blind IQA (BIQA) methods largely rely on extensive human annotations, which are labor-intensive and costly due to the demanding nature of creating IQA datasets. To reduce this dependency, we propose the Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA), designed to efficiently adapt the visual-language pre-trained model, CLIP, to IQA tasks, achieving high accuracy even with limited data. GRMP-IQA consists of two core modules: (i) Meta-Prompt Pre-training Module and (ii) Quality-Aware Gradient Regularization. The Meta Prompt Pre-training Module leverages a meta-learning paradigm to pre-train soft prompts with shared meta-knowledge across different distortions, enabling rapid adaptation to various IQA tasks. On the other hand, the Quality-Aware Gradient Regularization is designed to adjust the update gradients during fine-tuning, focusing the model's attention on quality-relevant features and preventing overfitting to semantic information. Extensive experiments on standard BIQA datasets demonstrate the superior performance to the state-of-the-art BIQA methods under limited data setting. Notably, utilizing just 20% of the training data, GRMP-IQA is competitive with most existing fully supervised BIQA approaches.
- Abstract(参考訳): 画像品質評価(IQA)は、複雑な歪み、多様な画像コンテンツ、限られたデータ可用性のため、コンピュータビジョンにおいて未解決の課題である。
既存のBlind IQA (BIQA) の手法は、IQAデータセットの作成が要求される性質のため、労働集約的でコストがかかる広範囲な人間のアノテーションに大きく依存している。
この依存性を低減するために,視覚言語事前学習モデルであるCLIP を IQA タスクに効率的に適応し,限られたデータでも高い精度を実現するために設計された Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA) を提案する。
GRMP-IQAは2つのコアモジュールから構成される。
一 メタプロンプト予習モジュール及び
(II)品質に配慮したグラディエント正規化。
Meta Prompt事前学習モジュールは、メタ学習パラダイムを活用して、さまざまな歪みにまたがる共有メタ知識を持つソフトプロンプトを事前訓練することで、さまざまなIQAタスクへの迅速な適応を可能にする。
一方、Quality-Aware Gradient Regularizationは、微調整中の更新勾配を調整し、品質関連機能に注目し、セマンティック情報への過度な適合を防止するように設計されている。
標準BIQAデータセットに対する大規模な実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
特に、トレーニングデータの20%しか利用していないGRMP-IQAは、既存の完全に教師されたBIQAアプローチと競合する。
関連論文リスト
- TRIQA: Image Quality Assessment by Contrastive Pretraining on Ordered Distortion Triplets [31.2422359004089]
No-Reference (NR) IQA は参照画像がないため、特に困難である。
本稿では,限られた数の参照コンテンツ画像を用いて,カスタムデータセットを構築する新しい手法を提案する。
対照的な三重項学習を用いて品質認識モデルを訓練し、より少ないサンプルで効率的なトレーニングを可能にする。
論文 参考訳(メタデータ) (2025-07-16T23:43:12Z) - MetaQAP -- A Meta-Learning Approach for Quality-Aware Pretraining in Image Quality Assessment [2.578159662141357]
画像品質評価(IQA)は、幅広い応用において重要な課題であるが、人間の知覚の主観的性質と実世界の画像歪みの複雑さのため、依然として困難な課題である。
本研究は,品質に配慮した事前学習とメタ学習を活用することで,これらの課題に対処する新しい非参照IQAモデルであるMetaQAPを提案する。
提案したMetaQAPモデルではPearson Linear correlation Coefficient (PLCC) とSpearman Rank Order correlation Coefficient (SROCC) のスコアが0.9885/0.9812,Konで0.9702/0.9658で優れた性能を示した。
論文 参考訳(メタデータ) (2025-06-19T21:03:47Z) - DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
野生のブラインド画像品質評価(IQA)は重大な課題を呈している。
大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。
事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
論文 参考訳(メタデータ) (2024-05-30T12:32:35Z) - Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。
十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。
近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。
本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T11:45:32Z) - Feature Denoising Diffusion Model for Blind Image Quality Assessment [58.5808754919597]
Blind Image Quality Assessment (BIQA) は、基準ベンチマークを使わずに、人間の知覚に合わせて画質を評価することを目的としている。
ディープラーニング BIQA の手法は、一般的に、伝達学習のための高レベルのタスクの特徴の使用に依存する。
本稿では,BIQAにおける特徴認知のための拡散モデルについて検討する。
論文 参考訳(メタデータ) (2024-01-22T13:38:24Z) - Data-Efficient Image Quality Assessment with Attention-Panel Decoder [19.987556370430806]
ブラインド画像品質評価(BIQA)はコンピュータビジョンの基本課題であり、複雑な歪み条件と多様な画像内容のために未解決のままである。
本稿では,トランスフォーマーアーキテクチャに基づく新しいBIQAパイプラインを提案する。
論文 参考訳(メタデータ) (2023-04-11T03:52:17Z) - Task-Specific Normalization for Continual Learning of Blind Image
Quality Models [105.03239956378465]
視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。
このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。
我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。
最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
論文 参考訳(メタデータ) (2021-07-28T15:21:01Z) - Continual Learning for Blind Image Quality Assessment [80.55119990128419]
ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。
最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。
モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
論文 参考訳(メタデータ) (2021-02-19T03:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。