論文の概要: Pik-Fix: Restoring and Colorizing Old Photo
- arxiv url: http://arxiv.org/abs/2205.01902v1
- Date: Wed, 4 May 2022 05:46:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-05 13:34:37.683523
- Title: Pik-Fix: Restoring and Colorizing Old Photo
- Title（参考訳）: Pik-Fix:古い写真の復元とカラー化
- Authors: Runsheng Xu, Zhengzhong Tu, Yuanqi Du, Xiaoyu Dong, Jinlong Li, Zibo
Meng, Jiaqi Ma, Alan Bovik, Hongkai Yu
- Abstract要約: 古い写真では、存在するがしばしば障害のある視覚記憶を復元し、塗り替えることは、興味深いが未解決の研究トピックである。
しかし、古い写真の大規模なデータセットが欠如しているため、この修復作業に対処するのが非常に難しい。
ここでは、古い画像や劣化画像の修復とカラー化を両立できる、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.366910102387344
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Restoring and inpainting the visual memories that are present, but often
impaired, in old photos remains an intriguing but unsolved research topic.
Decades-old photos often suffer from severe and commingled degradation such as
cracks, defocus, and color-fading, which are difficult to treat individually
and harder to repair when they interact. Deep learning presents a plausible
avenue, but the lack of large-scale datasets of old photos makes addressing
this restoration task very challenging. Here we present a novel reference-based
end-to-end learning framework that is able to both repair and colorize old and
degraded pictures. Our proposed framework consists of three modules: a
restoration sub-network that conducts restoration from degradations, a
similarity sub-network that performs color histogram matching and color
transfer, and a colorization subnet that learns to predict the chroma elements
of images that have been conditioned on chromatic reference signals. The
overall system makes uses of color histogram priors from reference images,
which greatly reduces the need for large-scale training data. We have also
created a first-of-a-kind public dataset of real old photos that are paired
with ground truth "pristine" photos that have been that have been manually
restored by PhotoShop experts. We conducted extensive experiments on this
dataset and synthetic datasets, and found that our method significantly
outperforms previous state-of-the-art models using both qualitative comparisons
and quantitative measurements.
- Abstract（参考訳）: 古い写真では、存在するがしばしば障害のある視覚記憶を復元し、塗り替えることは、興味深いが未解決の研究トピックである。
何十年も前の写真では、ひび割れやデフォーカス、カラーフェディングなどの重篤で日常的な劣化に苦しむことが多い。
しかし、古い写真の大規模なデータセットが欠如しているため、この修復作業に対処するのが非常に難しい。
本稿では,古い画像と劣化画像の修復と彩色を両立可能な,新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
提案するフレームワークは, 劣化からの復元を行う復元サブネットワーク, 色ヒストグラムマッチングと色移動を行う類似サブネットワーク, 色調基準信号で条件付けされた画像の彩色要素の予測を学習する着色サブネットの3つのモジュールから構成される。
システム全体では、参照画像から事前に色ヒストグラムを使用するため、大規模なトレーニングデータの必要性が大幅に低減される。
私たちはまた、photoshopの専門家によって手作業で復元された「プリスティン」写真と組み合わせて、本物の古い写真の最初の公開データセットも作成しました。
このデータセットと合成データセットについて広範な実験を行い、定性的比較と定量的測定の両方を用いて従来の最先端モデルよりも優れた性能を示した。
関連論文リスト
- Preserving Old Memories in Vivid Detail: Human-Interactive Photo Restoration Framework [19.213916633152625]
写真修復は結果の質を向上させることができるが、コストと修復に要する時間の観点からすると、しばしば高い価格で提供される。
本稿では,複数のステージから構成されるAIベースの写真復元フレームワークについて述べる。
評価用データセットが公開されていないため,新しい写真復元データセットを提案する。
論文 参考訳（メタデータ） (2024-10-12T13:23:08Z) - InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳（メタデータ） (2024-01-29T18:53:33Z) - Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳（メタデータ） (2024-01-01T14:14:35Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳（メタデータ） (2022-10-09T06:58:58Z) - Detecting Recolored Image by Spatial Correlation [60.08643417333974]
画像のリカラー化は、画像の色値を操作して新しいスタイルを与える、新たな編集技術である。
本稿では,空間相関の観点から,従来型と深層学習による再色検出の汎用的検出能力を示す解を探索する。
提案手法は,複数のベンチマークデータセット上での最先端検出精度を実現し,未知の種類の再色法を適切に一般化する。
論文 参考訳（メタデータ） (2022-04-23T01:54:06Z) - ROMNet: Renovate the Old Memories [25.41639794384076]
本稿では、劣化したレガシー画像の修復とカラー化を共同で行うための、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。
また、私たちの知る限りでは、古い写真復元モデルを評価するために、ペア化された真実を持つ、最初の公開と現実世界の古い写真データセットも作成しています。
論文 参考訳（メタデータ） (2022-02-05T17:48:15Z) - BIGPrior: Towards Decoupling Learned Prior Hallucination and Data
Fidelity in Image Restoration [14.34815548338413]
本稿では,ネットワーク優先の幻覚とデータ忠実度を分離した手法を提案する。
生成ネットワークから画像先行情報を抽出するために,ネットワークインバージョンを用いる。
本手法は、生成ネットワークのインバージョンの品質に部分的に依存するが、最先端の教師付きおよびタスク固有の復元手法と競合する。
論文 参考訳（メタデータ） (2020-11-03T01:16:41Z) - Image Colorization: A Survey and Dataset [94.59768013860668]
本稿では,最先端の深層学習に基づく画像着色技術に関する包括的調査を行う。
既存の着色技法を7つのクラスに分類し、その性能を規定する重要な要因について論じる。
我々は既存のデータセットと提案した画像の両方を用いて、既存の画像のカラー化手法を広範囲に実験的に評価する。
論文 参考訳（メタデータ） (2020-08-25T01:22:52Z) - Instance-aware Image Colorization [51.12040118366072]
本稿では,インスタンス認識のカラー化を実現する手法を提案する。
我々のネットワークアーキテクチャは、市販のオブジェクト検出器を利用して、収穫されたオブジェクト画像を取得する。
類似したネットワークを用いて、フルイメージの特徴を抽出し、融合モジュールを適用して最終色を予測する。
論文 参考訳（メタデータ） (2020-05-21T17:59:23Z) - Bringing Old Photos Back to Life [46.73615925108932]
実際の写真の劣化は複雑であり、合成画像と実際の古い写真とのドメインギャップは、ネットワークの一般化に失敗する。
本稿では,実写画像と大量の合成画像のペアを併用した新しい三重項領域翻訳ネットワークを提案する。
提案手法は,古写真復元における視覚的品質の観点から,最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-04-20T17:59:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。