論文の概要: Old Photo Restoration via Deep Latent Space Translation

• arxiv url: http://arxiv.org/abs/2009.07047v1
• Date: Mon, 14 Sep 2020 08:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 13:00:49.013168
• Title: Old Photo Restoration via Deep Latent Space Translation
• Title（参考訳）: 深層宇宙翻訳による古写真復元
• Authors: Ziyu Wan, Bo Zhang, Dongdong Chen, Pan Zhang, Dong Chen, Jing Liao, Fang Wen
• Abstract要約: 本稿では, 深層学習手法を用いて, 深刻な劣化に苦しむ古い写真を復元することを提案する。 実際の写真の劣化は複雑で、合成画像と実際の古い写真とのドメインギャップは、ネットワークの一般化に失敗する。 具体的には、2つの変分オートエンコーダ(VAE)をトレーニングし、それぞれ古い写真とクリーンな写真を2つの潜在空間に変換する。 そして、これら2つの潜伏空間間の変換は、合成ペアデータによって学習される。
• 参考スコア（独自算出の注目度）: 46.73615925108932
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose to restore old photos that suffer from severe degradation through a deep learning approach. Unlike conventional restoration tasks that can be solved through supervised learning, the degradation in real photos is complex and the domain gap between synthetic images and real old photos makes the network fail to generalize. Therefore, we propose a novel triplet domain translation network by leveraging real photos along with massive synthetic image pairs. Specifically, we train two variational autoencoders (VAEs) to respectively transform old photos and clean photos into two latent spaces. And the translation between these two latent spaces is learned with synthetic paired data. This translation generalizes well to real photos because the domain gap is closed in the compact latent space. Besides, to address multiple degradations mixed in one old photo, we design a global branch with apartial nonlocal block targeting to the structured defects, such as scratches and dust spots, and a local branch targeting to the unstructured defects, such as noises and blurriness. Two branches are fused in the latent space, leading to improved capability to restore old photos from multiple defects. Furthermore, we apply another face refinement network to recover fine details of faces in the old photos, thus ultimately generating photos with enhanced perceptual quality. With comprehensive experiments, the proposed pipeline demonstrates superior performance over state-of-the-art methods as well as existing commercial tools in terms of visual quality for old photos restoration.
• Abstract（参考訳）: 深層学習による重度の劣化に苦しむ古い写真を復元することを提案する。 教師付き学習によって解決できる従来の修復タスクとは異なり、実際の写真の劣化は複雑であり、合成画像と本物の古い写真の間のドメインギャップはネットワークの一般化に失敗する。 そこで本研究では,実画像と膨大な合成画像ペアを併用して,新しいトリプレット領域翻訳ネットワークを提案する。 具体的には、2つの変分オートエンコーダ(VAE)をトレーニングし、それぞれ古い写真とクリーンな写真を2つの潜伏空間に変換する。 これら2つの潜在空間間の変換は、合成ペアデータによって学習される。 この翻訳は、領域ギャップがコンパクトな潜在空間で閉じているため、実写真にうまく一般化する。 さらに, 1枚の古い写真に混在する多重劣化に対処するため, ひっかき傷やダストスポットなどの構造欠陥を対象とする非局所ブロックを持つグローバルブランチを設計し, ノイズやぼやけなどの非構造欠陥を対象とするローカルブランチを設計した。 2つのブランチが潜在空間で融合し、古い写真を複数の欠陥から復元する能力が向上した。 さらに,古い写真の顔の細部を復元するために別の顔改善ネットワークを適用し,最終的に知覚品質を向上した写真を生成する。 包括的実験により、提案したパイプラインは、古写真復元の視覚的品質の観点から、最先端の手法や既存の商用ツールよりも優れた性能を示す。

関連論文リスト

• SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
  セマンティック・復元型画像復元フレームワークであるSPIREを開発した。 本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。 本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
  論文  参考訳（メタデータ） (2023-12-18T17:02:30Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• Pik-Fix: Restoring and Colorizing Old Photo [24.366910102387344]
  古い写真では、存在するがしばしば障害のある視覚記憶を復元し、塗り替えることは、興味深いが未解決の研究トピックである。 しかし、古い写真の大規模なデータセットが欠如しているため、この修復作業に対処するのが非常に難しい。 ここでは、古い画像や劣化画像の修復とカラー化を両立できる、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-04T05:46:43Z)
• ROMNet: Renovate the Old Memories [25.41639794384076]
  本稿では、劣化したレガシー画像の修復とカラー化を共同で行うための、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。 また、私たちの知る限りでは、古い写真復元モデルを評価するために、ペア化された真実を持つ、最初の公開と現実世界の古い写真データセットも作成しています。
  論文  参考訳（メタデータ） (2022-02-05T17:48:15Z)
• Unsupervised Deep Image Stitching: Reconstructing Stitched Features to Images [38.95610086309832]
  本稿では,教師なしの粗い画像アライメントと教師なしの画像再構成の2段階からなる,教師なしの深層画像ストレッチフレームワークを提案する。 第1段階では、大規模なベースラインシーンに適した教師なしホモグラフィネットワークを制約するアブレーションに基づく損失を設計する。 第2段階では、画素レベルの不一致を一定程度特徴レベルで除去できるという知見に動機付けられ、特徴から画素へのアーティファクトを除去するための教師なし画像再構成ネットワークを設計する。
  論文  参考訳（メタデータ） (2021-06-24T09:45:36Z)
• The Spatially-Correlative Loss for Various Image Translation Tasks [69.62228639870114]
  シーン構造の一貫性を保つために、シンプルで効率的かつ効果的な新しい空間相関損失を提案します。 以前の方法は、ピクセルレベルのサイクル一貫性または特徴レベルのマッチング損失を使用してこれを試みます。 I2I翻訳の3つのモードすべてにおいて,ベースラインモデルに対して,単一モーダル,マルチモーダル,さらには単一イメージ翻訳において,明確な改善が見られた。
  論文  参考訳（メタデータ） (2021-04-02T02:13:30Z)
• Domain Adaptation for Image Dehazing [72.15994735131835]
  既存のほとんどの方法は、合成ヘイズ画像のデハージングモデルを訓練するが、ドメインシフトによる実際のヘイズ画像の一般化は困難である。 画像変換モジュールと2つの画像デハージングモジュールからなるドメイン適応パラダイムを提案する。 実世界の合成画像と実世界の画像の両方で実験結果から,我々のモデルは最先端の脱ハージングアルゴリズムに対して好適に機能することが示された。
  論文  参考訳（メタデータ） (2020-05-10T13:54:56Z)
• Bringing Old Photos Back to Life [46.73615925108932]
  実際の写真の劣化は複雑であり、合成画像と実際の古い写真とのドメインギャップは、ネットワークの一般化に失敗する。 本稿では,実写画像と大量の合成画像のペアを併用した新しい三重項領域翻訳ネットワークを提案する。 提案手法は,古写真復元における視覚的品質の観点から,最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-04-20T17:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。