論文の概要: Exploring Semantic Feature Discrimination for Perceptual Image Super-Resolution and Opinion-Unaware No-Reference Image Quality Assessment

• arxiv url: http://arxiv.org/abs/2503.19295v1
• Date: Tue, 25 Mar 2025 02:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:54:13.069642
• Title: Exploring Semantic Feature Discrimination for Perceptual Image Super-Resolution and Opinion-Unaware No-Reference Image Quality Assessment
• Title（参考訳）: 知覚的超解像とオピニオン非参照画像品質評価のための意味的特徴判別の探索
• Authors: Guanglu Dong, Xiangyu Liao, Mingyang Li, Guihuan Guo, Chao Ren,
• Abstract要約: 画像超解像(SR)にGAN(Generative Adversarial Networks)が広く応用されている。 既存の GAN ベースの SR 手法の多くは、画像に直接粗粒度を識別し、画像の意味情報を無視する。 具体的には、まず特徴判別器(Feat-D)を設計し、CLIPから画素単位の中間的特徴を識別する。 また,SFD-IQAを用いた新たな評価手法であるOU NR-IQA(OU NR-IQA)を提案する。
• 参考スコア（独自算出の注目度）: 6.362375130130533
• License:
• Abstract: Generative Adversarial Networks (GANs) have been widely applied to image super-resolution (SR) to enhance the perceptual quality. However, most existing GAN-based SR methods typically perform coarse-grained discrimination directly on images and ignore the semantic information of images, making it challenging for the super resolution networks (SRN) to learn fine-grained and semantic-related texture details. To alleviate this issue, we propose a semantic feature discrimination method, SFD, for perceptual SR. Specifically, we first design a feature discriminator (Feat-D), to discriminate the pixel-wise middle semantic features from CLIP, aligning the feature distributions of SR images with that of high-quality images. Additionally, we propose a text-guided discrimination method (TG-D) by introducing learnable prompt pairs (LPP) in an adversarial manner to perform discrimination on the more abstract output feature of CLIP, further enhancing the discriminative ability of our method. With both Feat-D and TG-D, our SFD can effectively distinguish between the semantic feature distributions of low-quality and high-quality images, encouraging SRN to generate more realistic and semantic-relevant textures. Furthermore, based on the trained Feat-D and LPP, we propose a novel opinion-unaware no-reference image quality assessment (OU NR-IQA) method, SFD-IQA, greatly improving OU NR-IQA performance without any additional targeted training. Extensive experiments on classical SISR, real-world SISR, and OU NR-IQA tasks demonstrate the effectiveness of our proposed methods.
• Abstract（参考訳）: GAN(Generative Adversarial Networks)は、画像の超解像(SR)に広く応用され、知覚品質が向上している。 しかし、既存の GAN ベースの SR 手法の多くは、画像に直接粗粒度を識別し、画像の意味情報を無視するのが一般的であり、超解像ネットワーク(SRN)が細粒度でセマンティックなテクスチャの詳細を学習することは困難である。 この問題を軽減するために,知覚SRのための意味的特徴識別手法であるSFDを提案する。 具体的には、まず特徴判別器(Feat-D)を設計し、CLIPから画素単位の中間的特徴を識別し、SR画像の特徴分布と高品質な画像の特徴分布を一致させる。 さらに,CLIPのより抽象的な出力特徴に対する識別を行うために,学習可能なプロンプトペア(LPP)を導入することで,テキスト誘導型識別法(TG-D)を提案する。 Feat-DとTG-Dの両方で、SFDは低品質画像と高品質画像のセマンティックな特徴分布を効果的に区別することができ、SRNがより現実的でセマンティックなテクスチャを生成するように促す。 さらに、トレーニング済みのFeat-DとLPPに基づいて、新たな評価非参照画像品質評価(OU NR-IQA)手法、SFD-IQAを提案する。 古典的SISR,実世界SISR,OU NR-IQAタスクに関する大規模な実験により,提案手法の有効性が示された。

関連論文リスト

• HoliSDiP: Image Super-Resolution via Holistic Semantics and Diffusion Prior [62.04939047885834]
  本稿では,意味的セグメンテーションを活用するフレームワークであるHoliSDiPについて述べる。 本手法では, セグメンテーションマスクと空間CLIPマップを用いて, セグメンテーションガイダンスを導入しながら, セグメンテーションラベルを簡潔なテキストプロンプトとして利用する。
  論文  参考訳（メタデータ） (2024-11-27T15:22:44Z)
• SeD: Semantic-Aware Discriminator for Image Super-Resolution [20.646975821512395]
  Generative Adversarial Networks (GAN) は画像超解像(SR)タスクの鮮やかなテクスチャを復元するために広く利用されている。 1つの識別器を用いて、SRネットワークは、現実の高品質な画像の分布を敵の訓練方法で学習することができる。 簡便かつ効果的な意味認識識別器(SeD)を提案する。 SeDは、画像のセマンティクスを条件として導入することにより、SRネットワークにきめ細かい分布の学習を奨励する。
  論文  参考訳（メタデータ） (2024-02-29T17:38:54Z)
• Semantic Encoder Guided Generative Adversarial Face Ultra-Resolution Network [15.102899995465041]
  本稿では,セマンティックガイド付き生成逆顔超解像ネットワーク(SEGA-FURN)を提案する。 提案するネットワークは, 組込みセマンティクスを捕捉し, 対数学習を誘導する新しいセマンティクスエンコーダと, Residual in Internal Block (RIDB) という階層型アーキテクチャを用いた新しいジェネレータから構成される。 大規模顔データを用いた実験により,提案手法は優れた超解像結果が得られ,定性比較と定量的比較の両面で他の最先端手法よりも優れることが示された。
  論文  参考訳（メタデータ） (2022-11-18T23:16:57Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Deep Posterior Distribution-based Embedding for Hyperspectral Image Super-resolution [75.24345439401166]
  本稿では,高スペクトル画像の高次元空間スペクトル情報を効率的に効率的に埋め込む方法について述べる。 我々は,HS埋め込みを,慎重に定義されたHS埋め込みイベントの集合の後方分布の近似として定式化する。 そして,提案手法を物理的に解釈可能なソース一貫性超解像フレームワークに組み込む。 3つの一般的なベンチマークデータセットに対する実験により、PDE-Netは最先端の手法よりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-05-30T06:59:01Z)
• Textural-Structural Joint Learning for No-Reference Super-Resolution Image Quality Assessment [59.91741119995321]
  我々は、TSNetと呼ばれる品質予測のためのテキスト情報と構造情報を共同で探索するデュアルストリームネットワークを開発した。 画像の重要な領域に注意を払っている人間の視覚システム(HVS)を模倣することにより、視覚に敏感な領域をより区別しやすくするための空間的注意機構を開発する。 実験の結果,提案したTSNetは現状のIQA法よりも視覚的品質を正確に予測し,人間の視点との整合性を示した。
  論文  参考訳（メタデータ） (2022-05-27T09:20:06Z)
• Hierarchical Conditional Flow: A Unified Framework for Image Super-Resolution and Image Rescaling [139.25215100378284]
  画像SRと画像再スケーリングのための統合フレームワークとして階層的条件フロー(HCFlow)を提案する。 HCFlowは、LR画像と残りの高周波成分の分布を同時にモデル化することにより、HRとLR画像ペア間のマッピングを学習する。 さらに性能を高めるために、知覚的損失やGAN損失などの他の損失と、トレーニングで一般的に使用される負の対数類似損失とを組み合わせる。
  論文  参考訳（メタデータ） (2021-08-11T16:11:01Z)
• Hierarchical Deep CNN Feature Set-Based Representation Learning for Robust Cross-Resolution Face Recognition [59.29808528182607]
  クロスリゾリューション顔認識(CRFR)は、インテリジェントな監視およびバイオメトリックフォレンジックにおいて重要である。 既存の浅層学習と深層学習に基づく手法は、HR-LR対を共同特徴空間にマッピングすることに焦点を当てている。 本研究では,多レベル深層畳み込みニューラルネットワーク(CNN)の機能を完全に活用し,堅牢なCRFRを実現することを目的とする。
  論文  参考訳（メタデータ） (2021-03-25T14:03:42Z)
• Blind Quality Assessment for Image Superresolution Using Deep Two-Stream Convolutional Networks [41.558981828761574]
  我々は,非参照深部ニューラルネットワークを用いたSR画像品質評価器(DeepSRQ)を提案する。 様々な歪んだSR画像のより識別的な特徴表現を学習するために、提案したDeepSRQは2ストリームの畳み込みネットワークである。 3つの公開SR画像品質データベースの実験結果から,提案したDeepSRQの有効性と一般化能力を示す。
  論文  参考訳（メタデータ） (2020-04-13T19:14:28Z)
• Feature Super-Resolution Based Facial Expression Recognition for Multi-scale Low-Resolution Faces [7.634398926381845]
  超解像法はしばしば低分解能画像の高精細化に使用されるが、FERタスクの性能は極低分解能画像では制限される。 本研究では,物体検出のための特徴的超解像法に触発されて,頑健な表情認識のための新たな生成逆ネットワークに基づく超解像法を提案する。
  論文  参考訳（メタデータ） (2020-04-05T15:38:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。