MCIQA-2K: A Multi-Dimensional Dataset and No-Reference Quality Assessment Benchmark for Colorized Images
Abstractの概要
本論文では、本質的に曖昧さを伴う着色タスクにおいて、人間の知覚と従来のフルリファレンス指標との間に生じる不一致を動機として、着色画像のノーリファレンス画質評価ベンチマークであるMCIQA-2Kを提案します。このデータセットには、5つの代表的な着色モデルを用いて400枚のCOCOテスト画像から生成された2,000枚の着色画像が含まれ、各画像は16人の評価者によって評価されています。アノテーションは「色のにじみ」「意味的な色の不整合」「全体的な自然さ」という3つの知覚的次元を網羅しており、堅牢な評価者間信頼性を示しています。このベンチマークに基づき、著者らはこれら3つの次元を個別にモデル化し、知覚的品質予測のために統合するマルチブランチNR-IQAフレームワークであるMCIQAを提案しています。
新規性
主な新規性は、着色における典型的な失敗モードに合わせて調整された専用の評価フレームワークと、着色に特化した多次元NR-IQAベンチマークを導入した点にあります。このアーキテクチャは、色のにじみ、意味的な色の不整合、全体的な自然さに対応する専用ブランチを独自に組み込み、視覚言語モデリングと空間マスキングを介して解釈可能な空間スコアマップを生成します。
成果
MCIQA-2Kにおいて、各専用ブランチは対応する次元で最先端の性能を達成し、MCIQA-CSはSRCC/PLCCで0.8274/0.8213、MCIQA-SCMは0.8902/0.8408、MCIQA-GNは0.8511/0.8571を記録しました。さらに、全体的な自然さブランチはより広範なIQAデータセットに対しても強力な汎化性能を示し、AGIQA-1Kにおいて比較手法中で最高となるSRCC 0.6373を達成しました。
論文の注目点
- MCIQA-2Kは、5つの代表的なモデルによって生成され、16人の評価者により3つの知覚次元にわたって評価された2,000枚の着色画像を提供する。
- MCIQAフレームワークは、色のにじみ、意味的な色の不整合、全体的な自然さに対応する専用ブランチを活用し、解釈可能な空間スコアマップを出力する。
- 実験結果により、タスク特化型で次元を考慮したモデリングが、着色画像の評価において一般的なフルリファレンスおよびノーリファレンスIQAベースラインを大幅に上回ることが示された。