論文の概要: From Posterior Sampling to Meaningful Diversity in Image Restoration

• arxiv url: http://arxiv.org/abs/2310.16047v1
• Date: Tue, 24 Oct 2023 17:58:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 17:19:29.735491
• Title: From Posterior Sampling to Meaningful Diversity in Image Restoration
• Title（参考訳）: 画像復元における後方サンプリングから有意義な多様性へ
• Authors: Noa Cohen, Hila Manor, Yuval Bahat, Tomer Michaeli
• Abstract要約: 画像復元問題は、通常、各劣化した画像を無限に多くの有効な方法で復元できるという意味で、不明確である。 多くの研究は、自然画像の後部分布からランダムにサンプリングしようとすることで、多様な出力を生成する。 ここでは、この戦略は後部分布の重みのため、一般に限定的な実用的価値を持つ。
• 参考スコア（独自算出の注目度）: 27.67089588202306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image restoration problems are typically ill-posed in the sense that each degraded image can be restored in infinitely many valid ways. To accommodate this, many works generate a diverse set of outputs by attempting to randomly sample from the posterior distribution of natural images given the degraded input. Here we argue that this strategy is commonly of limited practical value because of the heavy tail of the posterior distribution. Consider for example inpainting a missing region of the sky in an image. Since there is a high probability that the missing region contains no object but clouds, any set of samples from the posterior would be entirely dominated by (practically identical) completions of sky. However, arguably, presenting users with only one clear sky completion, along with several alternative solutions such as airships, birds, and balloons, would better outline the set of possibilities. In this paper, we initiate the study of meaningfully diverse image restoration. We explore several post-processing approaches that can be combined with any diverse image restoration method to yield semantically meaningful diversity. Moreover, we propose a practical approach for allowing diffusion based image restoration methods to generate meaningfully diverse outputs, while incurring only negligent computational overhead. We conduct extensive user studies to analyze the proposed techniques, and find the strategy of reducing similarity between outputs to be significantly favorable over posterior sampling. Code and examples are available in https://noa-cohen.github.io/MeaningfulDiversityInIR
• Abstract（参考訳）: 画像復元問題は通常、劣化した画像が無限に多くの有効な方法で復元できるという意味では不適切である。 これに対応するために、多くの作品が、劣化した入力を与えられた自然画像の後方分布からランダムにサンプルし、多様な出力を生成する。 ここでは,この戦略は後方分布の重く,実用的価値が限られていると論じる。 例えば、画像中の空の欠落した領域を塗装することを考える。 欠落した領域には雲以外の物体が存在しない可能性が高いため、後部からのサンプルの集合はすべて(実際は同一)空の完備化によって支配される。 しかし、飛行船、鳥、気球などの代替ソリューションとともに、空の完成度を1つだけ示すことで、可能性の集合を概説した方がよいだろう。 本稿では,有意義に多様な画像復元の研究を開始する。 本稿では,様々な画像復元手法と組み合わせて意味論的に意味のある多様性が得られるポストプロセッシング手法について検討する。 さらに, 拡散に基づく画像復元手法により, 不要な計算オーバーヘッドのみを伴いながら, 有意義に多様な出力を生成できる実用的な手法を提案する。 提案手法を広範囲にわたるユーザスタディで分析し,出力間の類似性を低減し,後方サンプリングよりも有意に有利であることを示す。 コードと例はhttps://noa-cohen.github.io/MeaningfulDiversityInIRで公開されている。

関連論文リスト

• Blind Image Restoration via Fast Diffusion Inversion [17.139433082780037]
  Blind Image Restoration via fast Diffusion (BIRD) は、劣化モデルパラメータと復元画像の協調最適化を行うブラインド赤外線法である。 提案手法の鍵となる考え方は、初期ノイズがサンプリングされると、逆サンプリングを変更すること、すなわち、中間潜水剤を全て変更しないことである。 画像復元作業におけるBIRDの有効性を実験的に検証し,それらすべてに対して,その成果が得られたことを示す。
  論文  参考訳（メタデータ） (2024-05-29T23:38:12Z)
• Learning from small data sets: Patch-based regularizers in inverse problems for image reconstruction [1.1650821883155187]
  機械学習の最近の進歩は、ネットワークを訓練するために大量のデータとコンピュータ能力を必要とする。 本稿は,ごく少数の画像のパッチを考慮に入れることで,小さなデータセットから学習する問題に対処する。 本稿では,Langevin Monte Carlo法を用いて後部を近似することにより,不確実な定量化を実現する方法を示す。
  論文  参考訳（メタデータ） (2023-12-27T15:30:05Z)
• Diffusion Posterior Illumination for Ambiguity-aware Inverse Rendering [63.24476194987721]
  画像からシーン特性を推定する逆レンダリングは、困難な逆問題である。 既存のソリューションの多くは、プリエントを逆レンダリングパイプラインに組み込んで、プラウシブルなソリューションを奨励している。 本稿では,自然照明マップ上で事前学習した確率拡散モデルを最適化フレームワークに統合する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-30T12:39:28Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• An Analysis of Generative Methods for Multiple Image Inpainting [4.234843176066354]
  塗り絵は、観察者が検出できない方法で、欠落した領域のイメージを復元することを指す。 我々は,多彩なインペイントのための学習に基づく画像補完手法に着目する。
  論文  参考訳（メタデータ） (2022-05-04T15:54:08Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Posterior Sampling for Image Restoration using Explicit Patch Priors [13.01340027081454]
  劣化した画像から全画像の後部確率をサンプリングするために,自然画像のパッチに対する明示的な先行点を組み合わせる方法を示す。 実験の結果,パッチプライオリティを用いた後方サンプリングは,画像復元の課題範囲において,高い知覚品質と高psnrのイメージを生じさせることがわかった。
  論文  参考訳（メタデータ） (2021-04-20T11:11:33Z)
• The Power of Triply Complementary Priors for Image Compressive Sensing [89.14144796591685]
  本稿では,一対の相補的な旅先を含むLRD画像モデルを提案する。 次に、画像CSのためのRDモデルに基づく新しいハイブリッド・プラグイン・アンド・プレイ・フレームワークを提案する。 そこで,提案したH-based image CS問題の解法として,単純で効果的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-05-16T08:17:44Z)
• Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation [181.08127307338654]
  本研究は, 大規模自然画像に基づいて学習したGAN(Generative Adversarial Network)により, 得られた画像の有効利用方法を示す。 深層生成前駆体(DGP)は、色、パッチ、解像度、様々な劣化した画像の欠落したセマンティクスを復元するための説得力のある結果を提供する。
  論文  参考訳（メタデータ） (2020-03-30T17:45:07Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。