論文の概要: Self-Supervised Image Restoration with Blurry and Noisy Pairs

• arxiv url: http://arxiv.org/abs/2211.07317v1
• Date: Mon, 14 Nov 2022 12:57:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 18:43:51.498584
• Title: Self-Supervised Image Restoration with Blurry and Noisy Pairs
• Title（参考訳）: ブラリーとノイズペアを用いた自己監督画像復元
• Authors: Zhilu Zhang, Rongjian Xu, Ming Liu, Zifei Yan, Wangmeng Zuo
• Abstract要約: ISOの高い画像は、通常難聴のノイズを持つが、長時間露光画像は、カメラの揺れや物体の動きによってぼやけている。 既存のソリューションは一般に、ノイズとブラーのバランスを求め、フルビジョンまたはセルフスーパービジョンのどちらかの下でデノイングやデブロワーリングのモデルを学ぶことを提案している。 本稿では,短時間露光ノイズ画像と長時間露光ぼかし画像との併用による画像復元を提案する。
• 参考スコア（独自算出の注目度）: 66.33313180767428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When taking photos under an environment with insufficient light, the exposure time and the sensor gain usually require to be carefully chosen to obtain images with satisfying visual quality. For example, the images with high ISO usually have inescapable noise, while the long-exposure ones may be blurry due to camera shake or object motion. Existing solutions generally suggest to seek a balance between noise and blur, and learn denoising or deblurring models under either full- or self-supervision. However, the real-world training pairs are difficult to collect, and the self-supervised methods merely rely on blurry or noisy images are limited in performance. In this work, we tackle this problem by jointly leveraging the short-exposure noisy image and the long-exposure blurry image for better image restoration. Such setting is practically feasible due to that short-exposure and long-exposure images can be either acquired by two individual cameras or synthesized by a long burst of images. Moreover, the short-exposure images are hardly blurry, and the long-exposure ones have negligible noise. Their complementarity makes it feasible to learn restoration model in a self-supervised manner. Specifically, the noisy images can be used as the supervision information for deblurring, while the sharp areas in the blurry images can be utilized as the auxiliary supervision information for self-supervised denoising. By learning in a collaborative manner, the deblurring and denoising tasks in our method can benefit each other. Experiments on synthetic and real-world images show the effectiveness and practicality of the proposed method. Codes are available at https://github.com/cszhilu1998/SelfIR.
• Abstract（参考訳）: 光の不足した環境下で写真を撮る場合、露出時間とセンサーの利得を慎重に選択し、視覚的品質を満足する画像を得る必要がある。 例えば、isoの高い画像は一般に無視できないノイズを持ち、長時間露光画像はカメラの揺動や物体の動きによってぼやけている可能性がある。 既存のソリューションは一般に、ノイズとブラーのバランスを求め、フルビジョンまたはセルフスーパービジョンのどちらかの下でデノイングやデブロワーリングのモデルを学ぶことを提案している。 しかし,実世界のトレーニングペアの収集は困難であり,自己監督手法はぼやけた画像やノイズ画像のみに依存するため,性能に制限がある。 そこで本研究では,短時間露光ノイズ画像と長時間露光ぼやき画像とを併用して画像復元を行う。 このような設定は、短い露光と長時間露光画像が2つの個々のカメラによって取得されるか、あるいは長い画像のバーストによって合成されるため、事実上実現可能である。 さらに、短い露光画像はほとんどぼやけておらず、長い露光画像には無視できるノイズがある。 その相補性により、自己管理的な方法で復元モデルを学習することができる。 具体的には、ノイズ画像をデブラリングの監督情報として用いることができ、ぼやけた画像のシャープな領域を自己監視デノイジングの補助監督情報として利用することができる。 協調的に学習することで,提案手法におけるタスクのデブラリングとデノライゼーションが相互に利益をもたらす。 合成および実世界の画像実験により,提案手法の有効性と実用性が示された。 コードはhttps://github.com/cszhilu1998/selfirで入手できる。

関連論文リスト

• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Dual-Camera Joint Deblurring-Denoising [24.129908866882346]
  高品質な画像を得るための新しいデュアルカメラ手法を提案する。 本手法では,1台のカメラで撮影した短い露光画像の同期バーストと,もう1台のカメラで撮影した長時間露光画像を用いる。 本手法は,GoProデータセットから得られた合成デュアルカメラ画像に対して,次の最適手法に比べて5倍のトレーニングパラメータで最先端の結果を得られる。
  論文  参考訳（メタデータ） (2023-09-16T00:58:40Z)
• Contrastive Learning for Low-light Raw Denoising [2.929093799984392]
  ノイズの多い画像やクリーンな画像の情報を活用するために,新たにDCR(Denoising contrast regularization)を導入する。 特徴空間では、DCRはクリーンな画像に近づき、ノイズの多い画像から遠く離れている。 さらに、我々はWnetと呼ばれる機能埋め込みネットワークを構築し、このネットワークは高周波情報を抽出するのにより効果的である。
  論文  参考訳（メタデータ） (2023-05-05T08:13:53Z)
• Learn to See Faster: Pushing the Limits of High-Speed Camera with Deep Underexposed Image Denoising [12.507566152678857]
  高精細度動画を高い取得率で記録する能力は、高速移動現象の研究の中心である。 高速移動シーンの撮影が難しいのは、動きのぼやけと低露出ノイズのトレードオフにある。 本稿では,このトレードオフに対処するために,高速撮像の問題を過度に露呈した画像復調問題として扱うことを提案する。
  論文  参考訳（メタデータ） (2022-11-29T09:10:50Z)
• Robust Scene Inference under Noise-Blur Dual Corruptions [20.0721386176278]
  低照度下でのシーン推測は、撮像画像の厳しいノイズのために難しい問題である。 同じシーンの複数の露出を同時に撮影できるカメラの台頭により、このトレードオフを克服することが可能である。 低照度および運動下でのロバスト推論にこれらのマルチ露光キャプチャを利用する手法を提案する。
  論文  参考訳（メタデータ） (2022-07-24T02:52:00Z)
• Exposure Correction Model to Enhance Image Quality [70.7848787073901]
  露光誤りと過度な露光誤りの両方を扱うために,エンドツーエンドの露光補正モデルを提案する。 我々のモデルは、補正された画像を生成するために、画像エンコーダ、連続残差ブロック、画像デコーダを含む。 提案モデルを用いて露出補正を行った結果,ポートレートマッチングの品質は著しく向上した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:52Z)
• Improving Blind Spot Denoising for Microscopy [73.94017852757413]
  自己監督型認知の質を向上させる新しい方法を提案する。 我々は、クリーンな画像がポイントスプレッド関数(PSF)との畳み込みの結果であり、ニューラルネットワークの最後にこの操作を明示的に含んでいると仮定する。
  論文  参考訳（メタデータ） (2020-08-19T13:06:24Z)
• Deep Bilateral Retinex for Low-Light Image Enhancement [96.15991198417552]
  低照度画像は、低コントラスト、色歪み、測定ノイズによる視界の低下に悩まされる。 本稿では,低照度画像強調のための深層学習手法を提案する。 提案手法は最先端の手法と非常に競合し, 極めて低照度で撮影した画像の処理において, 他に比べて大きな優位性を有する。
  論文  参考訳（メタデータ） (2020-07-04T06:26:44Z)
• Learning Multi-Scale Photo Exposure Correction [51.57836446833474]
  露出を間違えた写真を撮影することは、カメラベースの画像の誤りの主な原因である。 本稿では,各サブプロブレムに個別に対処する粗大な深層ニューラルネットワーク(DNN)モデルを提案する。 提案手法は,未露出画像における既存の最先端手法と同等の結果を得る。
  論文  参考訳（メタデータ） (2020-03-25T19:33:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。