論文の概要: From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2210.00752v1
• Date: Mon, 3 Oct 2022 08:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 15:43:54.450172
• Title: From Face to Natural Image: Learning Real Degradation for Blind Image Super-Resolution
• Title（参考訳）: 顔から自然へ:ブラインド画像の超解像のためのリアルな劣化学習
• Authors: Xiaoming Li, Chaofeng Chen, Xianhui Lin, Wangmeng Zuo, Lei Zhang
• Abstract要約: 実世界の低品質(LQ)画像の超解像のためのトレーニングペアを設計する。 我々は、劣化認識とコンテンツ非依存の表現を明示的に予測するために、HQとLQの顔画像のペアを入力とする。 次に、これらの実際の劣化表現を顔から自然画像に転送し、劣化したLQ自然画像を合成する。
• 参考スコア（独自算出の注目度）: 72.68156760273578
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing proper training pairs is critical for super-resolving the real-world low-quality (LQ) images, yet suffers from the difficulties in either acquiring paired ground-truth HQ images or synthesizing photo-realistic degraded observations. Recent works mainly circumvent this by simulating the degradation with handcrafted or estimated degradation parameters. However, existing synthetic degradation models are incapable to model complicated real degradation types, resulting in limited improvement on these scenarios, \eg, old photos. Notably, face images, which have the same degradation process with the natural images, can be robustly restored with photo-realistic textures by exploiting their specific structure priors. In this work, we use these real-world LQ face images and their restored HQ counterparts to model the complex real degradation (namely ReDegNet), and then transfer it to HQ natural images to synthesize their realistic LQ ones. Specifically, we take these paired HQ and LQ face images as inputs to explicitly predict the degradation-aware and content-independent representations, which control the degraded image generation. Subsequently, we transfer these real degradation representations from face to natural images to synthesize the degraded LQ natural images. Experiments show that our ReDegNet can well learn the real degradation process from face images, and the restoration network trained with our synthetic pairs performs favorably against SOTAs. More importantly, our method provides a new manner to handle the unsynthesizable real-world scenarios by learning their degradation representations through face images within them, which can be used for specifically fine-tuning. The source code is available at https://github.com/csxmli2016/ReDegNet.
• Abstract（参考訳）: 適切なトレーニングペアの設計は、実世界の低品質(lq)画像の超解像には不可欠であるが、対の接地型hq画像の取得や、フォトリアリスティックな劣化した観測の合成が困難である。 最近の研究は主に、劣化を手作りまたは推定した劣化パラメータでシミュレーションすることで回避している。 しかし、既存の合成劣化モデルは複雑な実際の劣化をモデル化することができないため、これらのシナリオ、例えば古い写真は限定的に改善される。 特に、自然画像と同一の劣化過程を有する顔画像は、その特定の構造を事前に利用することにより、フォトリアリスティックなテクスチャで堅牢に復元することができる。 本研究では、これらの現実世界のLQ顔画像と、その復元されたHQ画像を用いて、複雑な実劣化(ReDegNet)をモデル化し、それをHQ自然画像に転送し、現実的なLQ画像を合成する。 具体的には,これら対のhqおよびlq顔画像を入力として,劣化画像生成を制御する劣化認識およびコンテンツ非依存表現を明示的に予測する。 次に,これらの劣化表現を顔から自然画像に移し,劣化したlq自然画像を合成する。 実験の結果,レデグネットは顔画像から真の劣化過程をよく学習でき,合成ペアで訓練された修復ネットワークはsomaに対して好適に作用することがわかった。 さらに,本手法は,その内部の顔画像から分解表現を学習することで,合成不可能な実世界のシナリオを扱うための新しい手法を提供する。 ソースコードはhttps://github.com/csxmli2016/ReDegNetで入手できる。

関連論文リスト

• Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
  ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。 これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。 本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。 我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
  論文  参考訳（メタデータ） (2024-10-06T20:38:14Z)
• SSL: A Self-similarity Loss for Improving Generative Image Super-resolution [11.94842557256442]
  生成逆数ネットワーク(GAN)と生成拡散モデル(DM)は、実世界の画像超解像(Real-ISR)で広く利用されている。 これらの生成モデルは、視覚的アーティファクトや偽画像構造を生成する傾向があり、不自然なリアルISRの結果をもたらす。 本稿では, 生成実ISRモデルの性能向上のために, 単純かつ効果的な自己相似性損失(SSL)を提案する。
  論文  参考訳（メタデータ） (2024-08-11T07:46:06Z)
• Preserving Full Degradation Details for Blind Image Super-Resolution [40.152015542099704]
  劣化低分解能画像(LR)の再生による劣化表現の学習方法を提案する。 復調器に入力LR画像の再構成を誘導することにより、その表現に全劣化情報をエンコードすることができる。 実験により, 精度が高く, 強靭な劣化情報を抽出できることが確認された。
  論文  参考訳（メタデータ） (2024-07-01T13:54:59Z)
• MetaF2N: Blind Image Super-Resolution by Learning Efficient Model Adaptation from Faces [51.42949911178461]
  メタ学習フレームワークにおいて,自然画像全体に対応するためのモデルパラメータを微調整するメタF2Nという手法を提案する。 復元された顔と接地構造とのギャップを考慮すると,低信頼領域の影響を低減するために,異なる位置における損失重みを適応的に予測するMaskNetを配置する。
  論文  参考訳（メタデータ） (2023-09-15T02:45:21Z)
• Physics-Driven Turbulence Image Restoration with Stochastic Refinement [80.79900297089176]
  大気乱流による画像歪みは、長距離光学画像システムにおいて重要な問題である。 ディープラーニングモデルが現実世界の乱流条件に適応するために、高速で物理学的なシミュレーションツールが導入された。 本稿では,物理統合復元ネットワーク(PiRN)を提案する。
  論文  参考訳（メタデータ） (2023-07-20T05:49:21Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• SelFSR: Self-Conditioned Face Super-Resolution in the Wild via Flow Field Degradation Network [12.976199676093442]
  野生における顔超解像のための新しいドメイン適応分解ネットワークを提案する。 我々のモデルは,CelebAと実世界の顔データセットの両方で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-12-20T17:04:00Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)
• Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
  既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。 本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。 私たちのネットワークは、実データと合成データの両方で訓練されています。
  論文  参考訳（メタデータ） (2020-03-26T17:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。