論文の概要: On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement

• arxiv url: http://arxiv.org/abs/2307.12027v1
• Date: Sat, 22 Jul 2023 09:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 18:18:23.000979
• Title: On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement
• Title（参考訳）: スペクトル判別器の知覚品質改善効果について
• Authors: Xin Luo, Yunan Zhu, Shunxin Xu, Dong Liu
• Abstract要約: スペクトル判別器は、生成モデルのための画像のフーリエスペクトルを評価するために用いられる。 スペクトル判別器は、高周波数域の違いを特定する上で、通常の(空間的)判別器よりも優れた性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 12.476412620748754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent studies advocate the use of spectral discriminators, which evaluate the Fourier spectra of images for generative modeling. However, the effectiveness of the spectral discriminators is not well interpreted yet. We tackle this issue by examining the spectral discriminators in the context of perceptual image super-resolution (i.e., GAN-based SR), as SR image quality is susceptible to spectral changes. Our analyses reveal that the spectral discriminator indeed performs better than the ordinary (a.k.a. spatial) discriminator in identifying the differences in the high-frequency range; however, the spatial discriminator holds an advantage in the low-frequency range. Thus, we suggest that the spectral and spatial discriminators shall be used simultaneously. Moreover, we improve the spectral discriminators by first calculating the patch-wise Fourier spectrum and then aggregating the spectra by Transformer. We verify the effectiveness of the proposed method twofold. On the one hand, thanks to the additional spectral discriminator, our obtained SR images have their spectra better aligned to those of the real images, which leads to a better PD tradeoff. On the other hand, our ensembled discriminator predicts the perceptual quality more accurately, as evidenced in the no-reference image quality assessment task.
• Abstract（参考訳）: いくつかの最近の研究は、画像のフーリエスペクトルを生成モデルとして評価するスペクトル判別器の使用を提唱している。 しかし、スペクトル判別器の有効性はまだよく解釈されていない。 我々は、SR画像の品質がスペクトル変化の影響を受けやすいため、知覚画像超解像(GANベースSR)の文脈でスペクトル判別器を調べることでこの問題に対処する。 本分析の結果, スペクトル判別器は, 高周波数域の差を識別する上で, 通常の(空間)判別器よりも優れていることがわかったが, 空間判別器は低周波数域で有利である。 したがって,スペクトルと空間の判別器を同時に使用することを提案する。 さらに、まずパッチワイドフーリエスペクトルを計算し、次にTransformerでスペクトルを集約することでスペクトル判別器を改善する。 提案手法の有効性を2倍に検証する。 一方、スペクトル判別器の追加により、得られたSR画像のスペクトルは実際の画像とよく一致し、PDのトレードオフが良くなる。 一方,アンサンブル識別器は,非参照画像品質評価タスクで実証されているように,知覚品質をより正確に予測する。

関連論文リスト

• Contourlet Refinement Gate Framework for Thermal Spectrum Distribution Regularized Infrared Image Super-Resolution [54.293362972473595]
  画像超解像(SR)は、高解像度(HR)画像を低解像度(LR)画像から再構成することを目的としている。 SRタスクに対処する現在のアプローチは、RGB画像の特徴を抽出するか、同様の劣化パターンを仮定するものである。 スペクトル分布の忠実さを保ちつつ、赤外線変調特性を復元するコントゥーレット改質ゲートフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-19T14:24:03Z)
• Spectrum Translation for Refinement of Image Generation (STIG) Based on Contrastive Learning and Spectral Filter Profile [15.5188527312094]
  生成した画像の周波数領域における相違を緩和する枠組みを提案する。 これは、コントラスト学習に基づく画像生成(STIG)の洗練のためのスペクトル変換によって実現される。 我々は,STIGの有効性を実証するために,8つのフェイク画像データセットと様々な最先端モデルにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-03-08T06:39:24Z)
• SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution [73.46167948298041]
  本稿では,空間領域における連続画素座標とスペクトル領域における連続波長の両方の関数として,画像を表すニューラル暗黙モデルを提案する。 SSIFは空間分解能とスペクトル分解能の両方によく対応していることを示す。 ダウンストリームタスクのパフォーマンスを1.7%-7%向上させる高解像度画像を生成することができる。
  論文  参考訳（メタデータ） (2023-09-30T15:23:30Z)
• Spectral Unmixing of Hyperspectral Images Based on Block Sparse Structure [1.491109220586182]
  本稿では,ブロックスパース構造とスパースベイズ学習戦略に基づくハイパースペクトル画像(HSI)のスペクトルアンミックス手法を提案する。
  論文  参考訳（メタデータ） (2022-04-10T09:37:41Z)
• A spectral-spatial fusion anomaly detection method for hyperspectral imagery [7.155465756606866]
  ハイパースペクトル画像に対してスペクトル融合異常検出法(SSFAD)を提案する。 新しい検出器は、空間領域におけるパッチ画像の局所的な類似性空間的特徴を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-02-24T03:54:48Z)
• Feature Statistics Mixing Regularization for Generative Adversarial Networks [13.326288596904208]
  生成的敵ネットワークにおいて、識別器の改善は、生成性能の鍵となる要素の一つである。 本稿では,判別器の予測を入力画像のスタイルに不変にするための特徴統計混合正則化(FSMR)を提案する。 我々は、規則化がスタイルに対する感度を低下させ、様々なGANアーキテクチャの性能を一貫して向上させることを示すために、広範囲な実験を行っている。
  論文  参考訳（メタデータ） (2021-12-08T05:11:06Z)
• On the Frequency Bias of Generative Models [61.60834513380388]
  我々は、最先端のGANトレーニングにおいて、高周波アーティファクトに対する提案手法を解析した。 既存のアプローチでは、スペクトルアーティファクトを完全に解決できないことが分かっています。 以上の結果から,識別能力の向上に大きな可能性があることが示唆された。
  論文  参考訳（メタデータ） (2021-11-03T18:12:11Z)
• Spectral Variability Augmented Sparse Unmixing of Hyperspectral Images [20.703976519242094]
  スペクトル変動を明示的に抽出するスペクトル変動拡張スパース混合モデル(SVASU)を提案する。 スペクトル変動ライブラリーと固有スペクトルライブラリーはいずれもIn-situ観測画像から構築されている。 合成, 実世界の両方のデータセットに対する実験結果から, スペクトル変動による拡張分解は未混合性能を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2021-10-19T05:25:30Z)
• Spatial-Phase Shallow Learning: Rethinking Face Forgery Detection in Frequency Domain [88.7339322596758]
  本論文では,空間画像と位相スペクトルを組み合わせ,顔の偽造のアップサンプリング成果をキャプチャするSPSL(Spatial-Phase Shallow Learning)法を提案する。 SPSLは、クロスデータセット評価における最先端性能とマルチクラス分類を実現し、単一データセット評価において同等の結果を得ることができる。
  論文  参考訳（メタデータ） (2021-03-02T16:45:08Z)
• Cross-Spectral Periocular Recognition with Conditional Adversarial Networks [59.17685450892182]
  本研究では,近赤外・近赤外スペクトル間の近赤外画像の変換を訓練した条件付き生成逆相関ネットワークを提案する。 EER=1%, GAR>99% @ FAR=1%, ポリUデータベースの最先端技術に匹敵するスペクトル近視性能を得た。
  論文  参考訳（メタデータ） (2020-08-26T15:02:04Z)
• Hyperspectral-Multispectral Image Fusion with Weighted LASSO [68.04032419397677]
  本稿では,高スペクトル像と多スペクトル像を融合させて高画質な高スペクトル出力を実現する手法を提案する。 提案したスパース融合と再構成は,既存の公開画像の手法と比較して,定量的に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-03-15T23:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。