論文の概要: Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency

• arxiv url: http://arxiv.org/abs/2409.00749v1
• Date: Sun, 1 Sep 2024 15:26:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 09:11:31.847007
• Title: Assessing UHD Image Quality from Aesthetics, Distortions, and Saliency
• Title（参考訳）: 審美, ゆがみ, 衛生性からUHD画像品質を評価する
• Authors: Wei Sun, Weixia Zhang, Yuqin Cao, Linhan Cao, Jun Jia, Zijian Chen, Zicheng Zhang, Xiongkuo Min, Guangtao Zhai,
• Abstract要約: 我々は3つの視点からUHD画像の品質を評価するためにマルチブランチディープニューラルネットワーク(DNN)を設計する。 UHD画像から低解像度画像から美的特徴を抽出する。 UHD画像から抽出したミニパッチからなる断片画像を用いて, 技術的歪みを測定する。 UHD画像の塩分含有量を検知し、収穫し、塩分領域から品質認識特徴を抽出する。
• 参考スコア（独自算出の注目度）: 51.36674160287799
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: UHD images, typically with resolutions equal to or higher than 4K, pose a significant challenge for efficient image quality assessment (IQA) algorithms, as adopting full-resolution images as inputs leads to overwhelming computational complexity and commonly used pre-processing methods like resizing or cropping may cause substantial loss of detail. To address this problem, we design a multi-branch deep neural network (DNN) to assess the quality of UHD images from three perspectives: global aesthetic characteristics, local technical distortions, and salient content perception. Specifically, aesthetic features are extracted from low-resolution images downsampled from the UHD ones, which lose high-frequency texture information but still preserve the global aesthetics characteristics. Technical distortions are measured using a fragment image composed of mini-patches cropped from UHD images based on the grid mini-patch sampling strategy. The salient content of UHD images is detected and cropped to extract quality-aware features from the salient regions. We adopt the Swin Transformer Tiny as the backbone networks to extract features from these three perspectives. The extracted features are concatenated and regressed into quality scores by a two-layer multi-layer perceptron (MLP) network. We employ the mean square error (MSE) loss to optimize prediction accuracy and the fidelity loss to optimize prediction monotonicity. Experimental results show that the proposed model achieves the best performance on the UHD-IQA dataset while maintaining the lowest computational complexity, demonstrating its effectiveness and efficiency. Moreover, the proposed model won first prize in ECCV AIM 2024 UHD-IQA Challenge. The code is available at https://github.com/sunwei925/UIQA.
• Abstract（参考訳）: UHD画像は、通常、解像度が4K以上で、入力としてフル解像度のイメージを採用すると計算が複雑になるため、効率的な画像品質評価(IQA)アルゴリズムにおいて重要な課題となる。 この問題に対処するため,我々は,グローバルな審美的特徴,局所的な技術的歪み,有能なコンテンツ知覚という3つの視点からUHD画像の品質を評価するために,マルチブランチディープニューラルネットワーク(DNN)を設計した。 具体的には、UHD画像から低分解能画像から美的特徴を抽出し、高周波数テクスチャ情報を失うが、グローバルな美的特徴を保っている。 格子状ミニパッチサンプリング戦略に基づいて,UHD画像から抽出したミニパッチからなる断片画像を用いて,技術的歪みを測定する。 UHD画像の塩分含有量を検知し、収穫し、塩分領域から品質認識特徴を抽出する。 これら3つの視点から特徴を抽出するために,バックボーンネットワークとしてSwin Transformer Tinyを採用している。 抽出した特徴を2層多層パーセプトロン(MLP)ネットワークで結合して品質スコアに回帰する。 予測精度を最適化するために平均二乗誤差(MSE)と、予測単調性を最適化するために忠実度損失(fidelity loss)を用いる。 実験結果から,UHD-IQAデータセット上での最適性能は最も低い計算複雑性を維持しつつ達成し,その有効性と効率を実証した。 さらに、提案されたモデルはECCV AIM 2024 UHD-IQA Challengeで優勝した。 コードはhttps://github.com/sunwei925/UIQAで入手できる。

関連論文リスト

• Perceptual-Distortion Balanced Image Super-Resolution is a Multi-Objective Optimization Problem [23.833099288826045]
  画素ベースの回帰損失を用いた単一画像超解法(SISR)モデルのトレーニングは、高い歪みメトリクススコアを得ることができる。 しかし、高周波の詳細の回復が不十分なため、しばしばぼやけた画像が生じる。 本稿では,Multi-Objective Optimization(MOO)をSISRモデルのトレーニングプロセスに組み込んで,知覚品質と歪みのバランスをとる手法を提案する。
  論文  参考訳（メタデータ） (2024-09-05T02:14:04Z)
• DP-IQA: Utilizing Diffusion Prior for Blind Image Quality Assessment in the Wild [54.139923409101044]
  野生のブラインド画像品質評価(IQA)は重大な課題を呈している。 大規模なトレーニングデータの収集が困難であることを考えると、厳密な一般化モデルを開発するために限られたデータを活用することは、未解決の問題である。 事前訓練されたテキスト・ツー・イメージ(T2I)拡散モデルの堅牢な画像認識能力により,新しいIQA法,拡散先行に基づくIQAを提案する。
  論文  参考訳（メタデータ） (2024-05-30T12:32:35Z)
• Dual-Branch Network for Portrait Image Quality Assessment [76.27716058987251]
  ポートレート画像品質評価のためのデュアルブランチネットワーク(PIQA)を提案する。 我々は2つのバックボーンネットワーク(textiti.e., Swin Transformer-B)を使用して、肖像画全体と顔画像から高品質な特徴を抽出する。 我々は、画像シーンの分類と品質評価モデルであるLIQEを利用して、品質認識とシーン固有の特徴を補助的特徴として捉えている。
  論文  参考訳（メタデータ） (2024-05-14T12:43:43Z)
• Image Quality Assessment With Compressed Sampling [5.76395285614395]
  圧縮サンプリングを用いたNR-IQA(CL-IQAとCS-IQA)の2つのネットワークを提案する。 1)イメージをサンプリングする圧縮サンプリングモジュール(CSM) (2)高レベルの特徴を抽出する適応埋め込みモジュール(AEM)。 実験により,提案手法は,データ使用量が少ない様々なデータセットにおいて,他の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-26T05:51:57Z)
• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Transformer-based No-Reference Image Quality Assessment via Supervised Contrastive Learning [36.695247860715874]
  本稿では,新しいコントラスト学習 (Contrastive Learning, SCL) と NR-IQA モデル SaTQA を提案する。 まず、SCLによる大規模合成データセット上にモデルをトレーニングし、様々な歪みタイプとレベルの画像の劣化特徴を抽出する。 画像から歪み情報を抽出するために,CNNインダクティブバイアスとTransformerの長期依存性モデリング機能を組み合わせることで,マルチストリームブロック(MSB)を組み込んだバックボーンネットワークを提案する。 7つの標準IQAデータセットの実験結果から、SaTQAは合成データセットと認証データセットの両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-12T06:01:41Z)
• Deep Neural Network for Blind Visual Quality Assessment of 4K Content [37.70643043547502]
  既存のブラインド画像品質評価法(BIQA)は、オリジナルおよびアップスケールの4Kコンテンツには適していない。 本研究では、4Kコンテンツに対する深層学習に基づくBIQAモデルを提案する。 提案手法はマルチタスク学習方式を用いて学習し,分類タスクと回帰タスクの損失のバランスをとる不確実性原理を導入する。
  論文  参考訳（メタデータ） (2022-06-09T09:10:54Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)
• Boosting High-Level Vision with Joint Compression Artifacts Reduction and Super-Resolution [10.960291115491504]
  任意の品質係数で圧縮された低解像度画像から、アーティファクトフリーの高解像度画像を生成する。 文脈認識型CARとSRニューラルネットワーク(CAJNN)は、局所的特徴と非局所的特徴を統合し、CARとSRを1段階で解く。 高品質で高解像度な画像を予測するために、ディープ・リコンストラクション・ネットワークが採用されている。
  論文  参考訳（メタデータ） (2020-10-18T04:17:08Z)
• Gated Fusion Network for Degraded Image Super Resolution [78.67168802945069]
  本稿では,基本特徴と回復特徴を別々に抽出する二分岐畳み込みニューラルネットワークを提案する。 特徴抽出ステップを2つのタスク非依存ストリームに分解することで、デュアルブランチモデルがトレーニングプロセスを容易にすることができる。
  論文  参考訳（メタデータ） (2020-03-02T13:28:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。