論文の概要: DSMix: Distortion-Induced Sensitivity Map Based Pre-training for No-Reference Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2407.03886v1
• Date: Thu, 4 Jul 2024 12:25:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 18:12:58.417715
• Title: DSMix: Distortion-Induced Sensitivity Map Based Pre-training for No-Reference Image Quality Assessment
• Title（参考訳）: DSMix:非参照画像品質評価のための歪み誘発感度マップに基づく事前学習
• Authors: Jinsong Shi, Pan Gao, Xiaojiang Peng, Jie Qin,
• Abstract要約: 画像品質評価(IQA)は画像理解の基本的な課題である。 IQAフィールドにおける大量のラベル付きデータの欠如は、これらの手法のさらなる進歩を妨げている。 本稿では,IQAタスクに特化して設計された新しいデータ拡張手法であるDSMixを紹介する。
• 参考スコア（独自算出の注目度）: 38.03718178204522
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image quality assessment (IQA) has long been a fundamental challenge in image understanding. In recent years, deep learning-based IQA methods have shown promising performance. However, the lack of large amounts of labeled data in the IQA field has hindered further advancements in these methods. This paper introduces DSMix, a novel data augmentation technique specifically designed for IQA tasks, aiming to overcome this limitation. DSMix leverages the distortion-induced sensitivity map (DSM) of an image as prior knowledge. It applies cut and mix operations to diverse categories of synthetic distorted images, assigning confidence scores to class labels based on the aforementioned prior knowledge. In the pre-training phase using DSMix-augmented data, knowledge distillation is employed to enhance the model's ability to extract semantic features. Experimental results on both synthetic and authentic IQA datasets demonstrate the significant predictive and generalization performance achieved by DSMix, without requiring fine-tuning of the full model. Code is available at \url{https://github.com/I2-Multimedia-Lab/DSMix}.
• Abstract（参考訳）: 画像品質評価(IQA)は画像理解の基本的な課題である。 近年,ディープラーニングに基づくIQA手法は有望な性能を示した。 しかし、IQAフィールドに大量のラベル付きデータがないことは、これらの手法のさらなる進歩を妨げている。 本稿では,この制限を克服するために,IQAタスク用に設計された新しいデータ拡張手法であるDSMixを紹介する。 DSMixは、画像の歪み誘発感度マップ(DSM)を事前の知識として活用する。 合成歪み画像の様々なカテゴリにカット・ミックス操作を適用し、上記の事前知識に基づいて信頼スコアをクラスラベルに割り当てる。 DSMix拡張データを用いた事前学習段階では, モデルが意味的特徴を抽出する能力を高めるために, 知識蒸留を用いる。 DSMixが達成した予測および一般化性能は, 完全モデルの微調整を必要とせず, 合成および認証両方のIQAデータセットに対する実験結果から検証した。 コードは \url{https://github.com/I2-Multimedia-Lab/DSMix} で公開されている。

関連論文リスト

• Boosting CLIP Adaptation for Image Quality Assessment via Meta-Prompt Learning and Gradient Regularization [55.09893295671917]
  本稿では,Gdient-Regulated Meta-Prompt IQA Framework (GRMP-IQA)を紹介する。 GRMP-IQAはMeta-Prompt事前学習モジュールとQuality-Aware Gradient Regularizationの2つの主要なモジュールから構成されている。 5つの標準BIQAデータセットの実験は、限られたデータ設定下での最先端BIQA手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-09T07:26:21Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• MD-IQA: Learning Multi-scale Distributed Image Quality Assessment with Semi Supervised Learning for Low Dose CT [6.158876574189994]
  画像品質評価(IQA)は放射線線量最適化と新しい医用イメージング技術開発において重要な役割を担っている。 最近の深層学習に基づくアプローチは、強力なモデリング能力と医療IQAの可能性を示している。 本稿では,出力分布を制約して品質スコアを予測するため,マルチスケール分布回帰手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T09:33:33Z)
• JNDMix: JND-Based Data Augmentation for No-reference Image Quality Assessment [5.0789200970424035]
  NR-IQAタスクに対するジャストインタブル差分(JND)ノイズミキシングに基づく有効で汎用的なデータ拡張を提案する。 そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。 JNDMixは様々な最先端NR-IQAモデルの性能とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2023-02-20T08:55:00Z)
• Continual Learning for Blind Image Quality Assessment [80.55119990128419]
  ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。 最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。 モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
  論文  参考訳（メタデータ） (2021-02-19T03:07:01Z)
• MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment [73.55944459902041]
  本稿では,深層メタラーニングに基づく非参照IQA尺度を提案する。 まず、様々な歪みに対してNR-IQAタスクを収集する。 次にメタラーニングを用いて、多彩な歪みによって共有される事前知識を学習する。 大規模な実験により、提案された計量は最先端の技術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-04-11T23:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。