論文の概要: BIGPrior: Towards Decoupling Learned Prior Hallucination and Data Fidelity in Image Restoration

• arxiv url: http://arxiv.org/abs/2011.01406v3
• Date: Sat, 8 Jan 2022 11:47:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 04:18:00.461971
• Title: BIGPrior: Towards Decoupling Learned Prior Hallucination and Data Fidelity in Image Restoration
• Title（参考訳）: BIGPrior:画像修復における先行幻覚とデータ忠実性の分離を目指して
• Authors: Majed El Helou and Sabine S\"usstrunk
• Abstract要約: 本稿では,ネットワーク優先の幻覚とデータ忠実度を分離した手法を提案する。 生成ネットワークから画像先行情報を抽出するために,ネットワークインバージョンを用いる。 本手法は、生成ネットワークのインバージョンの品質に部分的に依存するが、最先端の教師付きおよびタスク固有の復元手法と競合する。
• 参考スコア（独自算出の注目度）: 14.34815548338413
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Classic image-restoration algorithms use a variety of priors, either implicitly or explicitly. Their priors are hand-designed and their corresponding weights are heuristically assigned. Hence, deep learning methods often produce superior image restoration quality. Deep networks are, however, capable of inducing strong and hardly predictable hallucinations. Networks implicitly learn to be jointly faithful to the observed data while learning an image prior; and the separation of original data and hallucinated data downstream is then not possible. This limits their wide-spread adoption in image restoration. Furthermore, it is often the hallucinated part that is victim to degradation-model overfitting. We present an approach with decoupled network-prior based hallucination and data fidelity terms. We refer to our framework as the Bayesian Integration of a Generative Prior (BIGPrior). Our method is rooted in a Bayesian framework and tightly connected to classic restoration methods. In fact, it can be viewed as a generalization of a large family of classic restoration algorithms. We use network inversion to extract image prior information from a generative network. We show that, on image colorization, inpainting and denoising, our framework consistently improves the inversion results. Our method, though partly reliant on the quality of the generative network inversion, is competitive with state-of-the-art supervised and task-specific restoration methods. It also provides an additional metric that sets forth the degree of prior reliance per pixel relative to data fidelity.
• Abstract（参考訳）: 古典的な画像復元アルゴリズムは暗黙的にも明示的にも、様々な先例を使用する。 先行は手作業で設計され、対応する重量はヒューリスティックに割り当てられる。 したがって、深層学習は画像復元の質を向上させることが多い。 しかし、ディープネットワークは強力で予測できない幻覚を誘発することができる。 ネットワークは、先行して画像を学習しながら観測データに共同で忠実であることを暗黙的に学習し、元のデータと下流の幻覚的なデータの分離は不可能である。 これにより、画像復元における幅広い普及が制限される。 さらに、劣化モデルオーバーフィッティングの犠牲となる幻覚的な部分であることが多い。 本稿では,ネットワーク優先型幻覚とデータ忠実性用語を分離したアプローチを提案する。 我々は、我々のフレームワークを、生成優先(BIGPrior)のベイズ統合と呼ぶ。 本手法はベイズ的枠組みに根ざし,古典的復元法と密接に結びついている。 実際、これは古典復元アルゴリズムの大規模なファミリーの一般化と見なすことができる。 生成ネットワークから画像先行情報を抽出するために,ネットワークインバージョンを用いる。 画像のカラー化、インパインティング、デノジングにおいて、我々のフレームワークは一貫してインバージョン結果を改善する。 本手法は生成ネットワークインバージョンの品質に部分的に依存するが,最先端の教師付きおよびタスク固有の復元手法と競合する。 また、データ忠実度に対して画素毎の事前依存の度合いを設定する追加の計量も提供する。

関連論文リスト

• Chasing Better Deep Image Priors between Over- and Under-parameterization [63.8954152220162]
  そこで本研究では,DNN固有の空間性を利用して,LIP(lottery image prior)を新たに検討する。 LIPworksは、コンパクトなモデルサイズでディープデコーダを著しく上回っている。 また、LIPを圧縮センシング画像再構成に拡張し、事前学習したGANジェネレータを前者として使用する。
  論文  参考訳（メタデータ） (2024-10-31T17:49:44Z)
• ROMNet: Renovate the Old Memories [25.41639794384076]
  本稿では、劣化したレガシー画像の修復とカラー化を共同で行うための、新しい参照ベースのエンドツーエンド学習フレームワークを提案する。 また、私たちの知る限りでは、古い写真復元モデルを評価するために、ペア化された真実を持つ、最初の公開と現実世界の古い写真データセットも作成しています。
  論文  参考訳（メタデータ） (2022-02-05T17:48:15Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Is Deep Image Prior in Need of a Good Education? [57.3399060347311]
  画像再構成に有効な先行画像として, 奥行き画像が導入された。 その印象的な再建性にもかかわらず、学習技術や伝統的な再建技術と比べてアプローチは遅い。 計算課題に対処する2段階の学習パラダイムを開発する。
  論文  参考訳（メタデータ） (2021-11-23T15:08:26Z)
• Blind Image Restoration with Flow Based Priors [19.190289348734215]
  未知の劣化を伴う盲点において、優れた先行性は依然として不可欠である。 本稿では, 正規化フローを用いて対象コンテンツの分布をモデル化し, 最大アフターリ(MAP)の定式化に先立ってこれを前もって用いることを提案する。 我々の知る限りでは、これは画像強調問題に先行する正規化フローを探求する最初の研究である。
  論文  参考訳（メタデータ） (2020-09-09T21:40:11Z)
• Plug-and-Play Image Restoration with Deep Denoiser Prior [186.84724418955054]
  モデルに基づく手法では,デノイザが暗黙的に画像として機能し,多くの逆問題に対処できることを示す。 非常に柔軟で効果的なCNNデノイザをトレーニングする前に、ベンチマークディープデノイザを設定しました。 次に, 2次分割に基づくイテレーティブアルゴリズムを用いて, 画像復元問題の解法を提案する。
  論文  参考訳（メタデータ） (2020-08-31T17:18:58Z)
• Pyramid Attention Networks for Image Restoration [124.34970277136061]
  自己相似性(Self-similarity)とは、画像復元アルゴリズムで広く使われる画像を指す。 近年の深層畳み込みニューラルネットワークによる画像復元手法は, 自己相似性を十分に活用していない。 画像復元のための新しいピラミッドアテンションモジュールを提案し,マルチスケール特徴ピラミッドから長距離特徴対応をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-28T21:12:36Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。