論文の概要: DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models

• arxiv url: http://arxiv.org/abs/2307.02457v1
• Date: Wed, 5 Jul 2023 17:31:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 12:46:10.961410
• Title: DeSRA: Detect and Delete the Artifacts of GAN-based Real-World Super-Resolution Models
• Title（参考訳）: DeSRA: GANに基づく実世界超解法のアーチファクトの検出と削除
• Authors: Liangbin Xie, Xintao Wang, Xiangyu Chen, Gen Li, Ying Shan, Jiantao Zhou, Chao Dong
• Abstract要約: GAN(Generative Adversarial Network)を用いた画像超解像(SR)は,現実的な詳細の復元に成功している。 GANベースのSRモデルが必然的に不快で望ましくないアーティファクトを生み出すことは悪名高い。 本稿では,未確認試験データから生成したGANアーチファクトの原因と特徴について,地絡みのない解析を行った。 そこで我々は,これらのSRアーティファクトの検出と削除を行う新しい手法,すなわちDeSRAを開発した。
• 参考スコア（独自算出の注目度）: 41.60982753592467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image super-resolution (SR) with generative adversarial networks (GAN) has achieved great success in restoring realistic details. However, it is notorious that GAN-based SR models will inevitably produce unpleasant and undesirable artifacts, especially in practical scenarios. Previous works typically suppress artifacts with an extra loss penalty in the training phase. They only work for in-distribution artifact types generated during training. When applied in real-world scenarios, we observe that those improved methods still generate obviously annoying artifacts during inference. In this paper, we analyze the cause and characteristics of the GAN artifacts produced in unseen test data without ground-truths. We then develop a novel method, namely, DeSRA, to Detect and then Delete those SR Artifacts in practice. Specifically, we propose to measure a relative local variance distance from MSE-SR results and GAN-SR results, and locate the problematic areas based on the above distance and semantic-aware thresholds. After detecting the artifact regions, we develop a finetune procedure to improve GAN-based SR models with a few samples, so that they can deal with similar types of artifacts in more unseen real data. Equipped with our DeSRA, we can successfully eliminate artifacts from inference and improve the ability of SR models to be applied in real-world scenarios. The code will be available at https://github.com/TencentARC/DeSRA.
• Abstract（参考訳）: GAN(Generative Adversarial Network)を用いた画像超解像(SR)は,現実的な詳細の復元に成功している。 しかし、GANベースのSRモデルが必然的に不快で望ましくないアーティファクトを、特に現実的なシナリオで生み出すことは悪名高い。 前作は通常、訓練段階で余分な損失ペナルティでアーティファクトを抑制する。 トレーニング中に生成された配布内アーティファクトタイプのみで動作する。 現実世界のシナリオに適用すると、これらの改良されたメソッドが推論中に明らかに迷惑なアーティファクトを生成することを観察します。 本稿では,未確認試験データから生成したGANアーチファクトの原因と特徴を明らかにする。 そこで我々は,これらのSRアーティファクトの検出と削除を行う新しい手法,すなわちDeSRAを開発した。 具体的には,MSE-SR結果とGAN-SR結果との相対的な局所的分散距離を測定し,上記の距離と意味認識しきい値に基づいて問題領域を特定することを提案する。 人工物領域を検出した後、いくつかのサンプルを用いてGANベースのSRモデルを改善するファインチューン手順を開発し、類似のアーティファクトをより見えない実データで扱えるようにした。 DeSRAと組み合わせることで、推論からアーティファクトを取り除き、実世界のシナリオに適用可能なSRモデルの能力を向上させることができます。 コードはhttps://github.com/TencentARC/DeSRAで入手できる。

関連論文リスト

• Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
  トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。 具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。 本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-07T18:18:54Z)
• Context Enhancement with Reconstruction as Sequence for Unified Unsupervised Anomaly Detection [68.74469657656822]
  非教師付き異常検出(AD)は、通常のサンプルのみを用いて堅牢な検出モデルを訓練することを目的としている。 最近の研究は、すべてのクラスに対して1つのモデルのみをトレーニングする、統一された教師なしAD設定に焦点を当てている。 本稿では,特徴再構成時の文脈対応性を高める新しいRAS法を提案する。
  論文  参考訳（メタデータ） (2024-09-10T07:37:58Z)
• Generalized Deepfake Attribution [1.4999444543328293]
  Generative Adversarial Networks (GAN) は、使用する種によって無数のGANモデルを生成することができる。 既存のディープフェイクの帰属方法は、トレーニング中に特定のGANモデルを見た場合にのみうまく機能する。 一般化されたディープフェイク属性ネットワーク(GDA-N et)を提案する。
  論文  参考訳（メタデータ） (2024-06-26T12:04:09Z)
• Self-Adaptive Reality-Guided Diffusion for Artifact-Free Super-Resolution [47.29558685384506]
  アーティファクトフリー・スーパーレゾリューション(SR)は、低解像度画像を、オリジナルコンテンツの厳密な整合性のある高解像度画像に変換することを目的としている。 従来の拡散型SR技術は反復的な手順でアーティファクトを導入する傾向にある。 本稿では,自己適応型現実誘導拡散(Self-Adaptive Reality-Guided Diffusion)を提案する。
  論文  参考訳（メタデータ） (2024-03-25T11:29:19Z)
• A General Method to Incorporate Spatial Information into Loss Functions for GAN-based Super-resolution Models [25.69505971220203]
  GAN(Generative Adversarial Networks)は超解像問題において優れた性能を示した。 GANは、予期せぬアーチファクトやノイズなど、出力に副作用をもたらすことが多い。 本稿では,多くのGANベース超解像(SR)モデルにおいて,トレーニングプロセスに必須空間情報を導入することで,効果的に活用できる汎用手法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:29:16Z)
• Data-Independent Operator: A Training-Free Artifact Representation Extractor for Generalizable Deepfake Detection [105.9932053078449]
  本研究では,より一般的な人工物表現を捉えるのに,小型かつトレーニング不要なフィルタが十分であることを示す。 トレーニングソースとテストソースの両方に不偏があるため、未確認ソースに対して魅力的な改善を実現するために、Data-Independent Operator (DIO)と定義する。 我々の検出器は13.3%の大幅な改善を実現し、新しい最先端の性能を確立した。
  論文  参考訳（メタデータ） (2024-03-11T15:22:28Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Details or Artifacts: A Locally Discriminative Learning Approach to Realistic Image Super-Resolution [28.00231586840797]
  近年,GAN (Generative Adversarial Network) の単一画像超解像 (SISR) が注目されている。 本稿では、視覚的アーチファクトを抑えつつ、知覚的にリアルなディテールを安定的に生成できるGANベースのSISRモデルを訓練できることを実証する。
  論文  参考訳（メタデータ） (2022-03-17T09:35:50Z)
• Generalized Real-World Super-Resolution through Adversarial Robustness [107.02188934602802]
  本稿では,実世界のSRに取り組むために,敵攻撃の一般化能力を活用したロバスト超解法を提案する。 我々の新しいフレームワークは、現実世界のSR手法の開発においてパラダイムシフトをもたらす。 単一のロバストモデルを使用することで、実世界のベンチマークで最先端の特殊な手法より優れています。
  論文  参考訳（メタデータ） (2021-08-25T22:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。