論文の概要: Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization

• arxiv url: http://arxiv.org/abs/2409.05381v1
• Date: Mon, 9 Sep 2024 07:26:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:30:45.241462
• Title: Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization
• Title（参考訳）: メタプロンプト学習と勾配正規化による画像品質評価のためのCLIP適応の強化
• Authors: Xudong Li, Zihao Huang, Runze Hu, Yan Zhang, Liujuan Cao, Rongrong Ji,
• Abstract要約: 本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 55.09893295671917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image Quality Assessment (IQA) remains an unresolved challenge in the field of computer vision, due to complex distortion conditions, diverse image content, and limited data availability. The existing Blind IQA (BIQA) methods heavily rely on extensive human annotations to train models, which is both labor-intensive and costly due to the demanding nature of creating IQA datasets. To mitigate the dependence on labeled samples, this paper introduces a novel Gradient-Regulated Meta-Prompt IQA Framework (GRMP-IQA). This framework aims to fast adapt the powerful visual-language pre-trained model, CLIP, to downstream IQA tasks, significantly improving accuracy in scenarios with limited data. Specifically, the GRMP-IQA comprises two key modules: Meta-Prompt Pre-training Module and Quality-Aware Gradient Regularization. The Meta Prompt Pre-training Module leverages a meta-learning paradigm to pre-train soft prompts with shared meta-knowledge across different distortions, enabling rapid adaptation to various IQA tasks. On the other hand, the Quality-Aware Gradient Regularization is designed to adjust the update gradients during fine-tuning, focusing the model's attention on quality-relevant features and preventing overfitting to semantic information. Extensive experiments on five standard BIQA datasets demonstrate the superior performance to the state-of-the-art BIQA methods under limited data setting, i.e., achieving SRCC values of 0.836 (vs. 0.760 on LIVEC) and 0.853 (vs. 0.812 on KonIQ). Notably, utilizing just 20\% of the training data, our GRMP-IQA outperforms most existing fully supervised BIQA methods.
• Abstract（参考訳）: 画像品質評価(IQA)は、複雑な歪み条件、多様な画像コンテンツ、限られたデータ可用性のため、コンピュータビジョンの分野で未解決の課題である。 既存のBlind IQA (BIQA) の手法は、IQAデータセットの作成が要求される性質のため、労働集約的かつコストがかかるモデルをトレーニングするための広範囲な人間のアノテーションに大きく依存している。 本稿では,ラベル付きサンプルへの依存を軽減するため,GRMP-IQAフレームワーク(Gradient-Regulated Meta-Prompt IQA Framework)を提案する。 このフレームワークは、強力なビジュアル言語事前訓練モデルであるCLIPを、下流のIQAタスクに迅速に適用することを目的としており、データ制限のあるシナリオの精度を大幅に向上することを目的としている。 具体的には、GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 Meta Prompt事前学習モジュールは、メタ学習パラダイムを活用して、さまざまな歪みにまたがる共有メタ知識を持つソフトプロンプトを事前訓練することで、さまざまなIQAタスクへの迅速な適応を可能にする。 一方、Quality-Aware Gradient Regularizationは、微調整中の更新勾配を調整し、品質関連機能に注目し、セマンティック情報への過度な適合を防止するように設計されている。 5つの標準BIQAデータセットに対する大規模な実験は、制限されたデータ設定下での最先端BIQA手法よりも優れた性能を示し、すなわち、SRCC値が0.836(LIVECでは0.760)と0.853(KonIQでは0.812)である。 特に、トレーニングデータの20%しか利用していないGRMP-IQAは、既存の完全に教師されたBIQA手法よりも優れています。

関連論文リスト

• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Feature Denoising Diffusion Model for Blind Image Quality Assessment [58.5808754919597]
  Blind Image Quality Assessment (BIQA) は、基準ベンチマークを使わずに、人間の知覚に合わせて画質を評価することを目的としている。 ディープラーニング BIQA の手法は、一般的に、伝達学習のための高レベルのタスクの特徴の使用に依存する。 本稿では,BIQAにおける特徴認知のための拡散モデルについて検討する。
  論文  参考訳（メタデータ） (2024-01-22T13:38:24Z)
• Data-Efficient Image Quality Assessment with Attention-Panel Decoder [19.987556370430806]
  ブラインド画像品質評価(BIQA)はコンピュータビジョンの基本課題であり、複雑な歪み条件と多様な画像内容のために未解決のままである。 本稿では,トランスフォーマーアーキテクチャに基づく新しいBIQAパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-11T03:52:17Z)
• Task-Specific Normalization for Continual Learning of Blind Image Quality Models [105.03239956378465]
  視覚的画像品質評価(BIQA)のための簡易かつ効果的な連続学習法を提案する。 このアプローチの重要なステップは、トレーニング済みのディープニューラルネットワーク(DNN)のすべての畳み込みフィルタを凍結して、安定性を明示的に保証することです。 我々は、各新しいIQAデータセット(タスク)に予測ヘッドを割り当て、対応する正規化パラメータをロードして品質スコアを生成する。 最終的な品質推定は、軽量な$K$-meansゲーティング機構で、すべての頭からの予測の重み付け総和によって計算される。
  論文  参考訳（メタデータ） (2021-07-28T15:21:01Z)
• Continual Learning for Blind Image Quality Assessment [80.55119990128419]
  ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。 最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。 モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
  論文  参考訳（メタデータ） (2021-02-19T03:07:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。