論文の概要: JNDMix: JND-Based Data Augmentation for No-reference Image Quality
Assessment
- arxiv url: http://arxiv.org/abs/2302.09838v1
- Date: Mon, 20 Feb 2023 08:55:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 16:10:37.939268
- Title: JNDMix: JND-Based Data Augmentation for No-reference Image Quality
Assessment
- Title(参考訳): JNDMix:非参照画像品質評価のためのJNDベースのデータ拡張
- Authors: Jiamu Sheng, Jiayuan Fan, Peng Ye, Jianjian Cao
- Abstract要約: NR-IQAタスクに対するジャストインタブル差分(JND)ノイズミキシングに基づく有効で汎用的なデータ拡張を提案する。
そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。
JNDMixは様々な最先端NR-IQAモデルの性能とデータ効率を大幅に改善することを示した。
- 参考スコア(独自算出の注目度): 5.0789200970424035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite substantial progress in no-reference image quality assessment
(NR-IQA), previous training models often suffer from over-fitting due to the
limited scale of used datasets, resulting in model performance bottlenecks. To
tackle this challenge, we explore the potential of leveraging data augmentation
to improve data efficiency and enhance model robustness. However, most existing
data augmentation methods incur a serious issue, namely that it alters the
image quality and leads to training images mismatching with their original
labels. Additionally, although only a few data augmentation methods are
available for NR-IQA task, their ability to enrich dataset diversity is still
insufficient. To address these issues, we propose a effective and general data
augmentation based on just noticeable difference (JND) noise mixing for NR-IQA
task, named JNDMix. In detail, we randomly inject the JND noise, imperceptible
to the human visual system (HVS), into the training image without any
adjustment to its label. Extensive experiments demonstrate that JNDMix
significantly improves the performance and data efficiency of various
state-of-the-art NR-IQA models and the commonly used baseline models, as well
as the generalization ability. More importantly, JNDMix facilitates MANIQA to
achieve the state-of-the-art performance on LIVEC and KonIQ-10k.
- Abstract(参考訳): 参照なし画像品質評価(nr-iqa)の大幅な進歩にもかかわらず、既存のトレーニングモデルは、使用済みデータセットのスケールが限られているため、過剰フィッティングに苦しめられ、結果としてモデルパフォーマンスのボトルネックが発生する。
この課題に対処するために、データ拡張を活用してデータ効率を改善し、モデルの堅牢性を向上する可能性を探る。
しかし、既存のデータ拡張手法の多くは、画像の品質を変更し、元のラベルとミスマッチした画像をトレーニングするという深刻な問題を引き起こしている。
加えて、NR-IQAタスクで利用可能なデータ拡張メソッドはわずかだが、データセットの多様性を豊かにする能力はまだ不十分である。
これらの問題に対処するため, NR-IQAタスクのノイズ混合(JND)に基づく, JNDMix という, 有効かつ汎用的なデータ拡張を提案する。
そこで本研究では,人間の視覚システム(HVS)に非受容なJNDノイズを,ラベルの調整なしにトレーニング画像にランダムに注入する。
大規模な実験により、JNDMixは様々な最先端NR-IQAモデルと一般的なベースラインモデルの性能とデータ効率を向上し、一般化能力も向上することが示された。
さらに重要なことは、JNDMixはMANIQAをLIVECとKonIQ-10kで最先端のパフォーマンスを達成するのに役立てている。
関連論文リスト
- DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
拡散先行型IQA(DP-IQA)と呼ばれる新しいIQA法を提案する。
トレーニング済みの安定拡散をバックボーンとして使用し、復調するU-Netから多レベル特徴を抽出し、それらをデコードして画質スコアを推定する。
上記のモデルの知識をCNNベースの学生モデルに抽出し、適用性を高めるためにパラメータを大幅に削減する。
論文 参考訳(メタデータ) (2024-05-30T12:32:35Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳(メタデータ) (2024-05-29T06:09:34Z) - Diffusion Model Based Visual Compensation Guidance and Visual Difference
Analysis for No-Reference Image Quality Assessment [82.13830107682232]
本稿では, 複雑な関係をモデル化する能力を示す, 最先端(SOTA)生成モデルを提案する。
生成した拡張画像とノイズを含む画像を利用する新しい拡散復元ネットワークを考案する。
2つの視覚評価枝は、得られた高レベル特徴情報を包括的に解析するように設計されている。
論文 参考訳(メタデータ) (2024-02-22T09:39:46Z) - Steerable Conditional Diffusion for Out-of-Distribution Adaptation in
Imaging Inverse Problems [78.76955228709241]
我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。
このフレームワークは、利用可能な測定データに特化してデノイングネットワークを適用する。
我々は多様な画像モダリティをまたいだOOD性能の大幅な向上を実現した。
論文 参考訳(メタデータ) (2023-08-28T08:47:06Z) - Towards Bridging the Performance Gaps of Joint Energy-based Models [1.933681537640272]
共同エネルギーベースモデル(JEM)は高い分類精度と画像生成品質を同時に達成する。
本稿では,JEMの精度ギャップと生成品質ギャップを橋渡しする様々なトレーニング手法を紹介する。
我々のSADA-JEMは、画像分類、画像生成、キャリブレーション、アウト・オブ・ディストリビューション検出、対向ロバストネスにおいて、最先端のパフォーマンスを達成し、JEMより優れています。
論文 参考訳(メタデータ) (2022-09-16T14:19:48Z) - MSTRIQ: No Reference Image Quality Assessment Based on Swin Transformer
with Multi-Stage Fusion [8.338999282303755]
本稿では,Swin Transformerに基づく新しいアルゴリズムを提案する。
ローカル機能とグローバル機能の両方から情報を集約して、品質をより正確に予測する。
NTIRE 2022 Perceptual Image Quality Assessment Challengeのノーレファレンストラックで2位。
論文 参考訳(メタデータ) (2022-05-20T11:34:35Z) - Learning Transformer Features for Image Quality Assessment [53.51379676690971]
本稿では,CNNバックボーンとトランスフォーマーエンコーダを用いて特徴抽出を行うIQAフレームワークを提案する。
提案するフレームワークはFRモードとNRモードの両方と互換性があり、共同トレーニング方式が可能である。
論文 参考訳(メタデータ) (2021-12-01T13:23:00Z) - Continual Learning for Blind Image Quality Assessment [80.55119990128419]
ブラインド画像品質評価(BIQA)モデルは、サブポピュレーションシフトに継続的に適応できない。
最近の研究では、利用可能なすべての人間評価のIQAデータセットの組み合わせに関するBIQAメソッドのトレーニングが推奨されている。
モデルがIQAデータセットのストリームから継続的に学習するBIQAの継続的学習を策定する。
論文 参考訳(メタデータ) (2021-02-19T03:07:01Z) - No-Reference Image Quality Assessment via Feature Fusion and Multi-Task
Learning [29.19484863898778]
ブラインドまたはノン参照画像品質評価(NR-IQA)は基本的な問題であり、未解決であり、難しい問題である。
マルチタスク学習に基づく簡易かつ効果的な汎用的ノンリフレクション(NR)画像品質評価フレームワークを提案する。
このモデルでは、歪み型と主観的な人間のスコアを用いて画質を推定する。
論文 参考訳(メタデータ) (2020-06-06T05:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。