論文の概要: DeSRA: Detect and Delete the Artifacts of GAN-based Real-World
Super-Resolution Models
- arxiv url: http://arxiv.org/abs/2307.02457v1
- Date: Wed, 5 Jul 2023 17:31:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 12:46:10.961410
- Title: DeSRA: Detect and Delete the Artifacts of GAN-based Real-World
Super-Resolution Models
- Title(参考訳): DeSRA: GANに基づく実世界超解法のアーチファクトの検出と削除
- Authors: Liangbin Xie, Xintao Wang, Xiangyu Chen, Gen Li, Ying Shan, Jiantao
Zhou, Chao Dong
- Abstract要約: GAN(Generative Adversarial Network)を用いた画像超解像(SR)は,現実的な詳細の復元に成功している。
GANベースのSRモデルが必然的に不快で望ましくないアーティファクトを生み出すことは悪名高い。
本稿では,未確認試験データから生成したGANアーチファクトの原因と特徴について,地絡みのない解析を行った。
そこで我々は,これらのSRアーティファクトの検出と削除を行う新しい手法,すなわちDeSRAを開発した。
- 参考スコア(独自算出の注目度): 41.60982753592467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image super-resolution (SR) with generative adversarial networks (GAN) has
achieved great success in restoring realistic details. However, it is notorious
that GAN-based SR models will inevitably produce unpleasant and undesirable
artifacts, especially in practical scenarios. Previous works typically suppress
artifacts with an extra loss penalty in the training phase. They only work for
in-distribution artifact types generated during training. When applied in
real-world scenarios, we observe that those improved methods still generate
obviously annoying artifacts during inference. In this paper, we analyze the
cause and characteristics of the GAN artifacts produced in unseen test data
without ground-truths. We then develop a novel method, namely, DeSRA, to Detect
and then Delete those SR Artifacts in practice. Specifically, we propose to
measure a relative local variance distance from MSE-SR results and GAN-SR
results, and locate the problematic areas based on the above distance and
semantic-aware thresholds. After detecting the artifact regions, we develop a
finetune procedure to improve GAN-based SR models with a few samples, so that
they can deal with similar types of artifacts in more unseen real data.
Equipped with our DeSRA, we can successfully eliminate artifacts from inference
and improve the ability of SR models to be applied in real-world scenarios. The
code will be available at https://github.com/TencentARC/DeSRA.
- Abstract(参考訳): GAN(Generative Adversarial Network)を用いた画像超解像(SR)は,現実的な詳細の復元に成功している。
しかし、GANベースのSRモデルが必然的に不快で望ましくないアーティファクトを、特に現実的なシナリオで生み出すことは悪名高い。
前作は通常、訓練段階で余分な損失ペナルティでアーティファクトを抑制する。
トレーニング中に生成された配布内アーティファクトタイプのみで動作する。
現実世界のシナリオに適用すると、これらの改良されたメソッドが推論中に明らかに迷惑なアーティファクトを生成することを観察します。
本稿では,未確認試験データから生成したGANアーチファクトの原因と特徴を明らかにする。
そこで我々は,これらのSRアーティファクトの検出と削除を行う新しい手法,すなわちDeSRAを開発した。
具体的には,MSE-SR結果とGAN-SR結果との相対的な局所的分散距離を測定し,上記の距離と意味認識しきい値に基づいて問題領域を特定することを提案する。
人工物領域を検出した後、いくつかのサンプルを用いてGANベースのSRモデルを改善するファインチューン手順を開発し、類似のアーティファクトをより見えない実データで扱えるようにした。
DeSRAと組み合わせることで、推論からアーティファクトを取り除き、実世界のシナリオに適用可能なSRモデルの能力を向上させることができます。
コードはhttps://github.com/TencentARC/DeSRAで入手できる。
関連論文リスト
- Data-Independent Operator: A Training-Free Artifact Representation
Extractor for Generalizable Deepfake Detection [105.9932053078449]
本研究では,より一般的な人工物表現を捉えるのに,小型かつトレーニング不要なフィルタが十分であることを示す。
トレーニングソースとテストソースの両方に不偏があるため、未確認ソースに対して魅力的な改善を実現するために、Data-Independent Operator (DIO)と定義する。
我々の検出器は13.3%の大幅な改善を実現し、新しい最先端の性能を確立した。
論文 参考訳(メタデータ) (2024-03-11T15:22:28Z) - SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。
スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。
スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文 参考訳(メタデータ) (2023-11-30T03:05:14Z) - GSURE-Based Diffusion Model Training with Corrupted Data [44.47246905244631]
本稿では, 劣化データのみに基づく生成拡散モデルのための新しいトレーニング手法を提案する。
顔画像と磁気共鳴画像(MRI)の撮影技術について紹介する。
論文 参考訳(メタデータ) (2023-05-22T15:27:20Z) - Exploiting Digital Surface Models for Inferring Super-Resolution for
Remotely Sensed Images [2.3204178451683264]
本稿では,SRRモデルにリアルなリモートセンシング画像の出力を強制する新しい手法を提案する。
画像の通常のデジタル表面モデル(nDSM)から推定されるピクセルレベルの情報を知覚的損失として特徴空間の類似性に頼る代わりに、モデルが考慮する。
視覚検査に基づいて、推定された超解像画像は、特に優れた品質を示す。
論文 参考訳(メタデータ) (2022-05-09T06:02:50Z) - Details or Artifacts: A Locally Discriminative Learning Approach to
Realistic Image Super-Resolution [28.00231586840797]
近年,GAN (Generative Adversarial Network) の単一画像超解像 (SISR) が注目されている。
本稿では、視覚的アーチファクトを抑えつつ、知覚的にリアルなディテールを安定的に生成できるGANベースのSISRモデルを訓練できることを実証する。
論文 参考訳(メタデータ) (2022-03-17T09:35:50Z) - Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。
我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。
単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
論文 参考訳(メタデータ) (2021-08-25T22:43:20Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative
Adversarial Networks [10.723935272906461]
近年, GAN (Generative Adversarial Network) を用いたエンド・ツー・エンド(E2E) ASRシステムの対戦訓練について検討している。
GAN目標を用いた事前学習型ASRモデルの微調整のための新しいフレームワークを提案する。
提案手法は,ベースラインと従来のGANベースの対戦モデルより優れている。
論文 参考訳(メタデータ) (2021-03-10T17:40:48Z) - Characteristic Regularisation for Super-Resolving Face Images [81.84939112201377]
既存の顔画像超解像法(SR)は、主に人工的にダウンサンプリングされた低解像度(LR)画像の改善に焦点を当てている。
従来の非教師なしドメイン適応(UDA)手法は、未ペアの真のLRとHRデータを用いてモデルをトレーニングすることでこの問題に対処する。
これにより、視覚的特徴を構成することと、画像の解像度を高めることの2つのタスクで、モデルをオーバーストレッチする。
従来のSRモデルとUDAモデルの利点を結合する手法を定式化する。
論文 参考訳(メタデータ) (2019-12-30T16:27:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。