論文の概要: Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration

• arxiv url: http://arxiv.org/abs/2306.02342v2
• Date: Mon, 12 Aug 2024 08:34:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 01:08:32.402441
• Title: Deep Optimal Transport: A Practical Algorithm for Photo-realistic Image Restoration
• Title（参考訳）: Deep Optimal Transport:フォトリアリスティック画像復元のための実践的アルゴリズム
• Authors: Theo Adrai, Guy Ohayon, Tomer Michaeli, Michael Elad,
• Abstract要約: 事前学習したモデルの知覚的品質および/または平均二乗誤差(MSE)を制御できる画像復元アルゴリズムを提案する。 モデルによって復元された約1ダースの画像を考えると、新たな画像に対するモデルの知覚的品質と/またはMSEを、それ以上の訓練をすることなく大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 31.58365182858562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an image restoration algorithm that can control the perceptual quality and/or the mean square error (MSE) of any pre-trained model, trading one over the other at test time. Our algorithm is few-shot: Given about a dozen images restored by the model, it can significantly improve the perceptual quality and/or the MSE of the model for newly restored images without further training. Our approach is motivated by a recent theoretical result that links between the minimum MSE (MMSE) predictor and the predictor that minimizes the MSE under a perfect perceptual quality constraint. Specifically, it has been shown that the latter can be obtained by optimally transporting the output of the former, such that its distribution matches the source data. Thus, to improve the perceptual quality of a predictor that was originally trained to minimize MSE, we approximate the optimal transport by a linear transformation in the latent space of a variational auto-encoder, which we compute in closed-form using empirical means and covariances. Going beyond the theory, we find that applying the same procedure on models that were initially trained to achieve high perceptual quality, typically improves their perceptual quality even further. And by interpolating the results with the original output of the model, we can improve their MSE on the expense of perceptual quality. We illustrate our method on a variety of degradations applied to general content images of arbitrary dimensions.
• Abstract（参考訳）: 本稿では,事前学習したモデルの知覚的品質と平均二乗誤差(MSE)を制御し,一方を他方で比較する画像復元アルゴリズムを提案する。 モデルによって復元された画像数十枚を考慮に入れれば、新たな画像に対する知覚的品質および/またはMSEを大幅に向上させることができる。 我々のアプローチは、最小MSE予測器と完全知覚品質制約の下でMSEを最小化する予測器とのリンクという最近の理論的結果によって動機付けられている。 具体的には、その分布がソースデータと一致するように、前者の出力を最適に輸送することで、後者が得られることを示した。 そこで,MSEを最小化するために訓練された予測器の知覚品質を改善するため,実験的な手段と共分散を用いて閉形式で計算した変分オートエンコーダの潜時空間における線形変換による最適輸送を近似した。 理論を超えて、当初高い知覚品質を達成するために訓練されたモデルに同じ手順を適用することは、通常、知覚品質をさらに向上させる。 また,モデルを元の出力と補間することにより,知覚品質を犠牲にしてMSEを改善することができる。 本稿では,任意の次元の一般コンテンツ画像に適用した様々な劣化について述べる。

関連論文リスト

• Posterior-Mean Rectified Flow: Towards Minimum MSE Photo-Realistic Image Restoration [34.50287066865267]
  Posterior-Mean Rectified Flow (PMRF) は、この最適推定器を近似する単純かつ高効率なアルゴリズムである。 PMRFの理論的有用性について検討し,様々な画像復元作業において従来手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-01T05:54:07Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Perception-Distortion Balanced ADMM Optimization for Single-Image Super-Resolution [29.19388490351459]
  低周波制約(LFc-SR)を持つ新しい超解像モデルを提案する。 制約付きモデルの非自明な学習のためのADMMに基づく交互最適化手法を提案する。 実験の結果,提案手法は加工後処理の煩雑さを伴わず,最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2022-08-05T05:37:55Z)
• PatchNR: Learning from Small Data by Patch Normalizing Flow Regularization [57.37911115888587]
  正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。 patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
  論文  参考訳（メタデータ） (2022-05-24T12:14:26Z)
• Stable Optimization for Large Vision Model Based Deep Image Prior in Cone-Beam CT Reconstruction [6.558735319783205]
  LVM(Large Vision Model)は、最近医療画像のタスクにおいて大きな可能性を実証した。 Deep Image Prior(DIP)は、トレーニングされていないニューラルネットワークを効果的にガイドし、トレーニングデータなしで高品質のCBCT画像を生成する。 スパースビューCBCTのためのフォワードモデルフリーDIPモデルの安定最適化法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T15:16:29Z)
• Image-specific Convolutional Kernel Modulation for Single Image Super-resolution [85.09413241502209]
  本稿では,新しい画像特異的畳み込み変調カーネル(IKM)を提案する。 我々は、画像や特徴のグローバルな文脈情報を利用して、畳み込みカーネルを適応的に調整するための注意重みを生成する。 単一画像超解像実験により,提案手法は最先端手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-11-16T11:05:10Z)
• Perceptual Image Restoration with High-Quality Priori and Degradation Learning [28.93489249639681]
  本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。 同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
  論文  参考訳（メタデータ） (2021-03-04T13:19:50Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Perceptually Optimizing Deep Image Compression [53.705543593594285]
  平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。 本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:33:28Z)
• Uncertainty-Aware Blind Image Quality Assessment in the Laboratory and Wild [98.48284827503409]
  我々は,テキスト化BIQAモデルを開発し,それを合成的および現実的歪みの両方で訓練するアプローチを提案する。 我々は、多数の画像ペアに対してBIQAのためのディープニューラルネットワークを最適化するために、忠実度損失を用いる。 6つのIQAデータベースの実験は、実験室と野生動物における画像品質を盲目的に評価する学習手法の可能性を示唆している。
  論文  参考訳（メタデータ） (2020-05-28T13:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。