論文の概要: Deep Neural Network for Blind Visual Quality Assessment of 4K Content
- arxiv url: http://arxiv.org/abs/2206.04363v1
- Date: Thu, 9 Jun 2022 09:10:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 15:57:59.096686
- Title: Deep Neural Network for Blind Visual Quality Assessment of 4K Content
- Title(参考訳): 4kコンテンツの視覚品質評価のためのディープニューラルネットワーク
- Authors: Wei Lu, Wei Sun, Xiongkuo Min, Wenhan Zhu, Quan Zhou, Jun He, Qiyuan
Wang, Zicheng Zhang, Tao Wang, Guangtao Zhai
- Abstract要約: 既存のブラインド画像品質評価法(BIQA)は、オリジナルおよびアップスケールの4Kコンテンツには適していない。
本研究では、4Kコンテンツに対する深層学習に基づくBIQAモデルを提案する。
提案手法はマルチタスク学習方式を用いて学習し,分類タスクと回帰タスクの損失のバランスをとる不確実性原理を導入する。
- 参考スコア(独自算出の注目度): 37.70643043547502
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The 4K content can deliver a more immersive visual experience to consumers
due to the huge improvement of spatial resolution. However, existing blind
image quality assessment (BIQA) methods are not suitable for the original and
upscaled 4K contents due to the expanded resolution and specific distortions.
In this paper, we propose a deep learning-based BIQA model for 4K content,
which on one hand can recognize true and pseudo 4K content and on the other
hand can evaluate their perceptual visual quality. Considering the
characteristic that high spatial resolution can represent more abundant
high-frequency information, we first propose a Grey-level Co-occurrence Matrix
(GLCM) based texture complexity measure to select three representative image
patches from a 4K image, which can reduce the computational complexity and is
proven to be very effective for the overall quality prediction through
experiments. Then we extract different kinds of visual features from the
intermediate layers of the convolutional neural network (CNN) and integrate
them into the quality-aware feature representation. Finally, two multilayer
perception (MLP) networks are utilized to map the quality-aware features into
the class probability and the quality score for each patch respectively. The
overall quality index is obtained through the average pooling of patch results.
The proposed model is trained through the multi-task learning manner and we
introduce an uncertainty principle to balance the losses of the classification
and regression tasks. The experimental results show that the proposed model
outperforms all compared BIQA metrics on four 4K content quality assessment
databases.
- Abstract(参考訳): 4Kコンテンツは、空間解像度の大幅な改善により、より没入的な視覚体験を消費者に提供することができる。
しかし,既存の視覚障害者画像品質評価(biqa)法は,解像度の増大や歪みの増大などにより,オリジナルコンテンツや拡張4kコンテンツには適していない。
本稿では、4Kコンテンツに対する深層学習に基づくBIQAモデルを提案する。
高空間分解能がより豊富な高周波情報を表現できる特性を考慮し、4k画像から3つの代表画像パッチを選択するためのgrey-level co-occurrence matrix (glcm) ベースのテクスチャ複雑性尺度を提案する。
次に、畳み込みニューラルネットワーク(CNN)の中間層から異なる種類の視覚的特徴を抽出し、それらを品質を考慮した特徴表現に統合する。
最後に、2つの多層知覚(mlp)ネットワークを用いて、各々のパッチに対する品質認識特徴をクラス確率と品質スコアにマッピングする。
全体の品質指標はパッチ結果の平均プーリングによって得られる。
提案モデルは,マルチタスク学習方法で学習し,分類と回帰タスクの損失をバランスさせる不確実性原理を導入する。
実験の結果,提案手法は4つの4Kコンテンツ品質評価データベースで比較したBIQA指標よりも優れていた。
関連論文リスト
- Exploring Rich Subjective Quality Information for Image Quality Assessment in the Wild [66.40314964321557]
我々は,リッチIQAという新しいIQA手法を提案し,MOSを超えるリッチな主観的評価情報を探索し,野生における画像品質を予測する。
コンボリューショナル・ビジョン・トランスフォーマー(CvT)の強力な特徴表現能力を活用し、人間の脳の短期記憶機構と長期記憶機構を模倣する3段階画像品質予測ネットワークである。
RichIQAは、リッチな主観的評価ラベルを持つ複数の大規模IQAデータベースにおいて、最先端の競合より優れている。
論文 参考訳(メタデータ) (2024-09-09T12:00:17Z) - Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency [51.36674160287799]
我々は3つの視点からUHD画像の品質を評価するためにマルチブランチディープニューラルネットワーク(DNN)を設計する。
UHD画像から低解像度画像から美的特徴を抽出する。
UHD画像から抽出したミニパッチからなる断片画像を用いて, 技術的歪みを測定する。
UHD画像の塩分含有量を検知し、収穫し、塩分領域から品質認識特徴を抽出する。
論文 参考訳(メタデータ) (2024-09-01T15:26:11Z) - Highly Efficient No-reference 4K Video Quality Assessment with Full-Pixel Covering Sampling and Training Strategy [23.61467796740852]
No-Reference (NR) VQA法は、参照ビデオの取得が制限されるか、実現不可能な状況において重要な役割を担っている。
視聴者の体験を豊かにするために、超高精細な定義(例:4K)でより多くのストリーミングビデオが作成されているため、現在のディープVQA手法は、許容できない計算コストに直面している。
本稿では,高効率かつ斬新なNR 4K VQA技術を提案する。
論文 参考訳(メタデータ) (2024-07-30T12:10:33Z) - Q-Ground: Image Quality Grounding with Large Multi-modality Models [61.72022069880346]
Q-Groundは、大規模な視覚的品質グラウンドに取り組むための最初のフレームワークである。
Q-Groundは、大規模なマルチモダリティモデルと詳細な視覚的品質分析を組み合わせる。
コントリビューションの中心は、QGround-100Kデータセットの導入です。
論文 参考訳(メタデータ) (2024-07-24T06:42:46Z) - Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。
我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。
我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
論文 参考訳(メタデータ) (2024-05-14T12:43:43Z) - Learning Generalizable Perceptual Representations for Data-Efficient
No-Reference Image Quality Assessment [7.291687946822539]
最先端のNR-IQA技術の大きな欠点は、多数の人間のアノテーションに依存していることである。
低レベルな特徴の学習を、新しい品質に配慮したコントラスト損失を導入することで、歪みタイプの学習を可能にする。
両経路からゼロショット品質の予測を、完全に盲目な環境で設計する。
論文 参考訳(メタデータ) (2023-12-08T05:24:21Z) - Attentions Help CNNs See Better: Attention-based Hybrid Image Quality
Assessment Network [20.835800149919145]
画像品質評価(IQA)アルゴリズムは、画像品質に対する人間の認識を定量化することを目的としている。
GAN(Generative Adversarial Network)によって生成された歪み画像を、一見現実的なテクスチャで評価する際の性能低下がある。
本稿では,AHIQ(Hybrid Image Quality Assessment Network)を提案する。
論文 参考訳(メタデータ) (2022-04-22T03:59:18Z) - Image Quality Assessment using Contrastive Learning [50.265638572116984]
我々は、補助的な問題を解決するために、対照的な対の目的を用いて深層畳み込みニューラルネットワーク(CNN)を訓練する。
本研究では,最新のNR画像品質モデルと比較して,ContriQUEが競争性能を向上することを示す。
以上の結果から,大きなラベル付き主観的画像品質データセットを必要とせずに,知覚的関連性を持つ強力な品質表現が得られることが示唆された。
論文 参考訳(メタデータ) (2021-10-25T21:01:00Z) - Consumer Image Quality Prediction using Recurrent Neural Networks for
Spatial Pooling [13.750624267664156]
本稿では、リカレントニューラルネットワーク(RNN)を用いて、人間の視覚系(HVS)の注意機構を模倣する画像品質モデルを提案する。
最近発表された2つの画像品質データセットの解像度の異なる画像を用いて行った実験により、提案手法の品質予測精度は、最先端技術を表すベンチマークモデルと競合することを示した。
論文 参考訳(メタデータ) (2021-06-02T03:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。