論文の概要: Bringing Old Photos Back to Life
- arxiv url: http://arxiv.org/abs/2004.09484v1
- Date: Mon, 20 Apr 2020 17:59:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-11 19:23:27.340181
- Title: Bringing Old Photos Back to Life
- Title(参考訳): 古い写真を生き返らせる
- Authors: Ziyu Wan and Bo Zhang and Dongdong Chen and Pan Zhang and Dong Chen
and Jing Liao and Fang Wen
- Abstract要約: 実際の写真の劣化は複雑であり、合成画像と実際の古い写真とのドメインギャップは、ネットワークの一般化に失敗する。
本稿では,実写画像と大量の合成画像のペアを併用した新しい三重項領域翻訳ネットワークを提案する。
提案手法は,古写真復元における視覚的品質の観点から,最先端の手法よりも優れていた。
- 参考スコア(独自算出の注目度): 46.73615925108932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose to restore old photos that suffer from severe degradation through
a deep learning approach. Unlike conventional restoration tasks that can be
solved through supervised learning, the degradation in real photos is complex
and the domain gap between synthetic images and real old photos makes the
network fail to generalize. Therefore, we propose a novel triplet domain
translation network by leveraging real photos along with massive synthetic
image pairs. Specifically, we train two variational autoencoders (VAEs) to
respectively transform old photos and clean photos into two latent spaces. And
the translation between these two latent spaces is learned with synthetic
paired data. This translation generalizes well to real photos because the
domain gap is closed in the compact latent space. Besides, to address multiple
degradations mixed in one old photo, we design a global branch with a partial
nonlocal block targeting to the structured defects, such as scratches and dust
spots, and a local branch targeting to the unstructured defects, such as noises
and blurriness. Two branches are fused in the latent space, leading to improved
capability to restore old photos from multiple defects. The proposed method
outperforms state-of-the-art methods in terms of visual quality for old photos
restoration.
- Abstract(参考訳): 深層学習による重度の劣化に苦しむ古い写真を復元することを提案する。
教師付き学習によって解決できる従来の修復タスクとは異なり、実際の写真の劣化は複雑であり、合成画像と本物の古い写真の間のドメインギャップはネットワークの一般化に失敗する。
そこで本研究では,実画像と膨大な合成画像ペアを併用して,新しいトリプレット領域翻訳ネットワークを提案する。
具体的には、2つの変分オートエンコーダ(VAE)をトレーニングし、それぞれ古い写真とクリーンな写真を2つの潜伏空間に変換する。
これら2つの潜在空間間の変換は、合成ペアデータによって学習される。
この翻訳は、領域ギャップがコンパクトな潜在空間で閉じているため、実写真にうまく一般化する。
また,古い写真に混入した複数の劣化に対処するため,スクラッチやダストスポットなどの構造的欠陥を対象とする部分的非局所的ブロックと,ノイズやボケなどの非構造的欠陥を対象とする局所的ブランチを設計した。
2つのブランチが潜在空間で融合し、古い写真を複数の欠陥から復元する能力が向上した。
提案手法は,古い写真復元の視覚品質において最先端の手法を上回っている。
関連論文リスト
- Decoupling Degradation and Content Processing for Adverse Weather Image
Restoration [79.59228846484415]
逆の気象画像復元は、雨、干し草、雪などの様々な気象の影響を受ける人々から、鮮明なイメージを復元する試みである。
従来の手法では、1つのネットワーク内で複数の気象タイプを処理できるが、これら2つのプロセス間の決定的な区別を無視し、復元された画像の品質を制限している。
本研究は,DDCNetと呼ばれる新しい悪天候画像復元手法を導入し,チャネル統計に基づく特徴レベルの劣化除去とコンテンツ復元を分離する。
論文 参考訳(メタデータ) (2023-12-08T12:26:38Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳(メタデータ) (2023-08-06T04:51:41Z) - Pik-Fix: Restoring and Colorizing Old Photo [24.366910102387344]
古い写真では、存在するがしばしば障害のある視覚記憶を復元し、塗り替えることは、興味深いが未解決の研究トピックである。
しかし、古い写真の大規模なデータセットが欠如しているため、この修復作業に対処するのが非常に難しい。
ここでは、古い画像や劣化画像の修復とカラー化を両立できる、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-04T05:46:43Z) - ROMNet: Renovate the Old Memories [25.41639794384076]
本稿では、劣化したレガシー画像の修復とカラー化を共同で行うための、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
また、私たちの知る限りでは、古い写真復元モデルを評価するために、ペア化された真実を持つ、最初の公開と現実世界の古い写真データセットも作成しています。
論文 参考訳(メタデータ) (2022-02-05T17:48:15Z) - The Spatially-Correlative Loss for Various Image Translation Tasks [69.62228639870114]
シーン構造の一貫性を保つために、シンプルで効率的かつ効果的な新しい空間相関損失を提案します。
以前の方法は、ピクセルレベルのサイクル一貫性または特徴レベルのマッチング損失を使用してこれを試みます。
I2I翻訳の3つのモードすべてにおいて,ベースラインモデルに対して,単一モーダル,マルチモーダル,さらには単一イメージ翻訳において,明確な改善が見られた。
論文 参考訳(メタデータ) (2021-04-02T02:13:30Z) - Old Photo Restoration via Deep Latent Space Translation [46.73615925108932]
本稿では, 深層学習手法を用いて, 深刻な劣化に苦しむ古い写真を復元することを提案する。
実際の写真の劣化は複雑で、合成画像と実際の古い写真とのドメインギャップは、ネットワークの一般化に失敗する。
具体的には、2つの変分オートエンコーダ(VAE)をトレーニングし、それぞれ古い写真とクリーンな写真を2つの潜在空間に変換する。
そして、これら2つの潜伏空間間の変換は、合成ペアデータによって学習される。
論文 参考訳(メタデータ) (2020-09-14T08:51:53Z) - Domain Adaptation for Image Dehazing [72.15994735131835]
既存のほとんどの方法は、合成ヘイズ画像のデハージングモデルを訓練するが、ドメインシフトによる実際のヘイズ画像の一般化は困難である。
画像変換モジュールと2つの画像デハージングモジュールからなるドメイン適応パラダイムを提案する。
実世界の合成画像と実世界の画像の両方で実験結果から,我々のモデルは最先端の脱ハージングアルゴリズムに対して好適に機能することが示された。
論文 参考訳(メタデータ) (2020-05-10T13:54:56Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。