論文の概要: JNDMix: JND-Based Data Augmentation for No-reference Image Quality
Assessment
- arxiv url: http://arxiv.org/abs/2302.09838v1
- Date: Mon, 20 Feb 2023 08:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 16:10:37.939268
- Title: JNDMix: JND-Based Data Augmentation for No-reference Image Quality
Assessment
- Title(参考訳): JNDMix:非参照画像品質評価のためのJNDベースのデータ拡張
- Authors: Jiamu Sheng, Jiayuan Fan, Peng Ye, Jianjian Cao
- Abstract要約: NR-IQAタスクに対するジャストインタブル差分(JND)ノイズミキシングに基づく有効で汎用的なデータ拡張を提案する。
そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。
JNDMixは様々な最先端NR-IQAモデルの性能とデータ効率を大幅に改善することを示した。
- 参考スコア(独自算出の注目度): 5.0789200970424035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite substantial progress in no-reference image quality assessment
(NR-IQA), previous training models often suffer from over-fitting due to the
limited scale of used datasets, resulting in model performance bottlenecks. To
tackle this challenge, we explore the potential of leveraging data augmentation
to improve data efficiency and enhance model robustness. However, most existing
data augmentation methods incur a serious issue, namely that it alters the
image quality and leads to training images mismatching with their original
labels. Additionally, although only a few data augmentation methods are
available for NR-IQA task, their ability to enrich dataset diversity is still
insufficient. To address these issues, we propose a effective and general data
augmentation based on just noticeable difference (JND) noise mixing for NR-IQA
task, named JNDMix. In detail, we randomly inject the JND noise, imperceptible
to the human visual system (HVS), into the training image without any
adjustment to its label. Extensive experiments demonstrate that JNDMix
significantly improves the performance and data efficiency of various
state-of-the-art NR-IQA models and the commonly used baseline models, as well
as the generalization ability. More importantly, JNDMix facilitates MANIQA to
achieve the state-of-the-art performance on LIVEC and KonIQ-10k.
- Abstract(参考訳): 参照なし画像品質評価(nr-iqa)の大幅な進歩にもかかわらず、既存のトレーニングモデルは、使用済みデータセットのスケールが限られているため、過剰フィッティングに苦しめられ、結果としてモデルパフォーマンスのボトルネックが発生する。
この課題に対処するために、データ拡張を活用してデータ効率を改善し、モデルの堅牢性を向上する可能性を探る。
しかし、既存のデータ拡張手法の多くは、画像の品質を変更し、元のラベルとミスマッチした画像をトレーニングするという深刻な問題を引き起こしている。
加えて、NR-IQAタスクで利用可能なデータ拡張メソッドはわずかだが、データセットの多様性を豊かにする能力はまだ不十分である。
これらの問題に対処するため, NR-IQAタスクのノイズ混合(JND)に基づく, JNDMix という, 有効かつ汎用的なデータ拡張を提案する。
そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。
大規模な実験により、JNDMixは様々な最先端NR-IQAモデルと一般的なベースラインモデルの性能とデータ効率を向上し、一般化能力も向上することが示された。
さらに重要なことは、JNDMixはMANIQAをLIVECとKonIQ-10kで最先端のパフォーマンスを達成するのに役立てている。
関連論文リスト
- Diffusion Model Based Visual Compensation Guidance and Visual Difference
Analysis for No-Reference Image Quality Assessment [82.13830107682232]
本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。
生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。
2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
論文 参考訳(メタデータ) (2024-02-22T09:39:46Z) - Transformer-based No-Reference Image Quality Assessment via Supervised
Contrastive Learning [36.695247860715874]
本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。
まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。
画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。
7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-12-12T06:01:41Z) - DifAugGAN: A Practical Diffusion-style Data Augmentation for GAN-based
Single Image Super-resolution [88.13972071356422]
本稿では,DifAugGAN として知られる GAN ベースの画像超解像法(SR) のための拡散型データ拡張手法を提案する。
それは、訓練中の判別器の校正を改善するために、生成拡散モデルに拡散過程を適用することを含む。
我々のDifAugGANは、現在のGANベースのSISR手法のプラグ・アンド・プレイ戦略であり、判別器の校正を改善し、SR性能を向上させることができる。
論文 参考訳(メタデータ) (2023-11-30T12:37:53Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in
Imaging Inverse Problems [78.76955228709241]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定データに特化してデノイングネットワークを適用する。
我々は多様な画像モダリティをまたいだOOD性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - DifFIQA: Face Image Quality Assessment Using Denoising Diffusion
Probabilistic Models [1.217503190366097]
顔画像品質評価(FIQA)技術は、これらの性能劣化を軽減することを目的としている。
拡散確率モデル(DDPM)に基づく強力な新しいFIQA手法DifFIQAを提案する。
拡散に基づく摂動は計算コストが高いため、DifFIQA(R)と呼ばれる回帰ベースの品質予測器にDifFIQAで符号化された知識を蒸留する。
論文 参考訳(メタデータ) (2023-05-09T21:03:13Z) - Towards Bridging the Performance Gaps of Joint Energy-based Models [1.933681537640272]
共同エネルギーベースモデル(JEM)は高い分類精度と画像生成品質を同時に達成する。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする様々なトレーニング手法を紹介する。
我々のSADA-JEMは、画像分類、画像生成、キャリブレーション、アウト・オブ・ディストリビューション検出、対向ロバストネスにおいて、最先端のパフォーマンスを達成し、JEMより優れています。
論文 参考訳(メタデータ) (2022-09-16T14:19:48Z) - MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer
with Multi-Stage Fusion [8.338999282303755]
本稿では,Swin Transformerに基づく新しいアルゴリズムを提案する。
ローカル機能とグローバル機能の両方から情報を集約して、品質をより正確に予測する。
NTIRE 2022 Perceptual Image Quality Assessment Challengeのノーレファレンストラックで2位。
論文 参考訳(メタデータ) (2022-05-20T11:34:35Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳(メタデータ) (2021-12-01T13:23:00Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳(メタデータ) (2021-10-25T21:01:00Z) - Continual Learning for Blind Image Quality Assessment [80.55119990128419]
ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。
最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。
モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
論文 参考訳(メタデータ) (2021-02-19T03:07:01Z) - No-Reference Image Quality Assessment via Feature Fusion and Multi-Task
Learning [29.19484863898778]
ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。
マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。
このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
論文 参考訳(メタデータ) (2020-06-06T05:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。