論文の概要: Mask Reference Image Quality Assessment
- arxiv url: http://arxiv.org/abs/2302.13770v1
- Date: Mon, 27 Feb 2023 13:52:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-28 15:28:03.297318
- Title: Mask Reference Image Quality Assessment
- Title(参考訳): マスク基準画像品質評価
- Authors: Pengxiang Xiao, Shuai He, Limin Liu, Anlong Ming
- Abstract要約: Mask Reference IQA (MR-IQA) は、歪んだ画像の特定のパッチを隠蔽し、参照画像パッチで欠落したパッチを補う方法である。
提案手法は,ベンチマークKADID-10k, LIVE, CSIQデータセット上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 8.087355843192109
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding semantic information is an essential step in knowing what is
being learned in both full-reference (FR) and no-reference (NR) image quality
assessment (IQA) methods. However, especially for many severely distorted
images, even if there is an undistorted image as a reference (FR-IQA), it is
difficult to perceive the lost semantic and texture information of distorted
images directly. In this paper, we propose a Mask Reference IQA (MR-IQA) method
that masks specific patches of a distorted image and supplements missing
patches with the reference image patches. In this way, our model only needs to
input the reconstructed image for quality assessment. First, we design a mask
generator to select the best candidate patches from reference images and
supplement the lost semantic information in distorted images, thus providing
more reference for quality assessment; in addition, the different masked
patches imply different data augmentations, which favors model training and
reduces overfitting. Second, we provide a Mask Reference Network (MRNet): the
dedicated modules can prevent disturbances due to masked patches and help
eliminate the patch discontinuity in the reconstructed image. Our method
achieves state-of-the-art performances on the benchmark KADID-10k, LIVE and
CSIQ datasets and has better generalization performance across datasets. The
code and results are available in the supplementary material.
- Abstract(参考訳): 意味情報を理解することは、フル参照(FR)法と非参照(NR)画像品質評価(IQA)法の両方で何が学べるかを知るための重要なステップである。
しかし、特に多くの歪んだ画像に対して、参照として非歪な画像があるとしても(FR-IQA)、歪んだ画像の失われた意味やテクスチャ情報を直接知覚することは困難である。
本稿では,歪んだ画像の特定のパッチをマスクし,参照画像パッチで欠落したパッチを補うマスク参照iqa(mr-iqa)法を提案する。
このように、このモデルでは、品質評価のために再構成された画像を入力するだけでよい。
まず、参照画像から最適な候補パッチを選択し、歪んだ画像で失われた意味情報を補足するマスク生成器を設計し、品質評価の参考となるとともに、異なるマスクパッチはモデルのトレーニングを優先し、過剰フィッティングを減少させるデータ拡張を暗示する。
第2に,Mask Reference Network (MRNet): マスクされたパッチによる障害を防止し,再構成画像におけるパッチの不連続を解消する。
本手法は,ベンチマークKADID-10k, LIVE, CSIQデータセット上での最先端性能を実現し, データセット間の一般化性能を向上する。
コードと結果は補足資料で入手できる。
関連論文リスト
- On Mask-based Image Set Desensitization with Recognition Support [46.51027529020668]
マスクを用いた画像デセンシタイズ手法を提案する。
我々は,認識タスクの重要な情報を維持するために,解釈アルゴリズムを利用する。
また,マスク画像に基づく性能向上のためのモデル調整手法として,特徴選択マスクネットを提案する。
論文 参考訳(メタデータ) (2023-12-14T14:26:42Z) - ARNIQA: Learning Distortion Manifold for Image Quality Assessment [28.773037051085318]
No-Reference Image Quality Assessment (NR-IQA) は、高品質な参照画像を必要としない、人間の知覚に合わせて画像品質を測定する手法を開発することを目的としている。
本研究では、画像歪み多様体をモデル化し、本質的な表現を得るための自己教師型アプローチ ARNIQA を提案する。
論文 参考訳(メタデータ) (2023-10-20T17:22:25Z) - Neural Image Compression Using Masked Sparse Visual Representation [17.229601298529825]
本研究では,Sparse Visual Representation (SVR) に基づくニューラル画像圧縮について検討し,学習されたビジュアルコードブックにまたがる離散潜在空間に画像が埋め込まれた。
コードブックをデコーダと共有することにより、エンコーダは効率的でクロスプラットフォームなコードワードインデックスを転送する。
本稿では,マスクを潜在機能部分空間に適用して品質のバランスと再構築を行うMasked Adaptive Codebook Learning (M-AdaCode)法を提案する。
論文 参考訳(メタデータ) (2023-09-20T21:59:23Z) - Not All Image Regions Matter: Masked Vector Quantization for
Autoregressive Image Generation [78.13793505707952]
既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。
そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-23T02:15:53Z) - Improving Masked Autoencoders by Learning Where to Mask [65.89510231743692]
マスケ画像モデリングは視覚データに対する有望な自己教師型学習手法である。
本稿では,Gumbel-Softmax を用いて,対向学習マスク生成装置とマスク誘導画像モデリングプロセスとを相互接続するフレームワーク AutoMAE を提案する。
実験の結果,AutoMAEは,標準の自己監督型ベンチマークや下流タスクに対して,効果的な事前学習モデルを提供することがわかった。
論文 参考訳(メタデータ) (2023-03-12T05:28:55Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳(メタデータ) (2023-03-06T11:51:28Z) - Stare at What You See: Masked Image Modeling without Reconstruction [154.74533119863864]
Masked Autoencoders (MAE) は、大規模な視覚表現事前学習のパラダイムとして広く普及している。
近年の手法では, 画像特徴を再構成対象として抽出するために, セマンティック・リッチな教師モデルが適用されており, 性能が向上している。
強力な教師モデルによって抽出された特徴は、画像中の領域間のリッチなセマンティックな相関を既にエンコードしていると論じる。
論文 参考訳(メタデータ) (2022-11-16T12:48:52Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳(メタデータ) (2021-08-18T02:35:08Z) - OLED: One-Class Learned Encoder-Decoder Network with Adversarial Context
Masking for Novelty Detection [1.933681537640272]
新規性検出は、対象クラスの分布に属さないサンプルを認識するタスクである。
ディープオートエンコーダは多くの教師なしのノベルティ検出法のベースとして広く使われている。
我々は,MaskモジュールとReconstructorという2つの競合するネットワークからなるフレームワークを設計した。
論文 参考訳(メタデータ) (2021-03-27T17:59:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。