論文の概要: Residual-Conditioned Optimal Transport: Towards Structure-preserving Unpaired and Paired Image Restoration
- arxiv url: http://arxiv.org/abs/2405.02843v1
- Date: Sun, 5 May 2024 08:19:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 18:00:36.482064
- Title: Residual-Conditioned Optimal Transport: Towards Structure-preserving Unpaired and Paired Image Restoration
- Title(参考訳): 残留条件の最適輸送-構造保存型未ペア画像復元を目指して-
- Authors: Xiaole Tang, Xin Hu, Xiang Gu, Jian Sun,
- Abstract要約: 画像復元のためのResidual-Conditioned Optimal Transport (RCOT) アプローチを提案する。
二重性により、RCOT問題は最小限の最適化問題に変換され、ニューラルネットワークを敵対的に訓練することで解決される。
- 参考スコア(独自算出の注目度): 42.01716967725075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning-based image restoration methods have achieved promising performance. However, how to faithfully preserve the structure of the original image remains challenging. To address this challenge, we propose a novel Residual-Conditioned Optimal Transport (RCOT) approach, which models the image restoration as an optimal transport (OT) problem for both unpaired and paired settings, integrating the transport residual as a unique degradation-specific cue for both the transport cost and the transport map. Specifically, we first formalize a Fourier residual-guided OT objective by incorporating the degradation-specific information of the residual into the transport cost. Based on the dual form of the OT formulation, we design the transport map as a two-pass RCOT map that comprises a base model and a refinement process, in which the transport residual is computed by the base model in the first pass and then encoded as a degradation-specific embedding to condition the second-pass restoration. By duality, the RCOT problem is transformed into a minimax optimization problem, which can be solved by adversarially training neural networks. Extensive experiments on multiple restoration tasks show the effectiveness of our approach in terms of both distortion measures and perceptual quality. Particularly, RCOT restores images with more faithful structural details compared to state-of-the-art methods.
- Abstract(参考訳): 深層学習に基づく画像復元手法は有望な性能を達成した。
しかし、原像の構造を忠実に保存する方法はいまだに困難である。
この課題に対処するために, 画像復元を未ペアとペアの双方で最適輸送(OT)問題としてモデル化し, 輸送コストと輸送マップの双方に対して, ユニークな劣化専用キューとして, 輸送残余を統合したResidual-Conditioned Optimal Transport (RCOT)アプローチを提案する。
具体的には,まず,残余の劣化特異的情報を輸送コストに組み込むことで,フーリエ残余誘導型OT目標を定式化する。
OT の2つの形式に基づいて,トランスポートマップをベースモデルと精製プロセスからなる2パスRCOTマップとして設計し,トランスポート残差をベースモデルによって第1パスで計算し,第2パス復元条件に分解特異的な埋め込みとして符号化する。
二重性により、RCOT問題は最小限の最適化問題に変換され、ニューラルネットワークを敵対的に訓練することで解決される。
複数の修復作業における広範囲な実験は、歪み対策と知覚品質の両方の観点から、我々のアプローチの有効性を示している。
特にRCOTは、最先端の手法と比較して、より忠実な構造的詳細で画像を復元する。
関連論文リスト
- Analysis of Deep Image Prior and Exploiting Self-Guidance for Image
Reconstruction [13.277067849874756]
DIPがアンダーサンプドイメージング計測からどのように情報を回収するかを検討する。
ネットワーク重みと入力の両方を同時に最適化する自己駆動型再構築プロセスを導入する。
提案手法は,ネットワーク入力画像と再構成画像の両方の堅牢かつ安定した関節推定を可能にする,新しいデノイザ正規化項を組み込んだものである。
論文 参考訳(メタデータ) (2024-02-06T15:52:23Z) - Latent Diffusion Prior Enhanced Deep Unfolding for Spectral Image
Reconstruction [19.1301471218022]
スナップショット分光画像再構成は、単発2次元圧縮計測から3次元空間スペクトル像を再構成することを目的としている。
我々は, 深部展開法に先立って劣化のないモデルを生成するため, 遅延拡散モデル(LDM)という生成モデルを導入する。
論文 参考訳(メタデータ) (2023-11-24T04:55:20Z) - Bridging Component Learning with Degradation Modelling for Blind Image
Super-Resolution [69.11604249813304]
視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。
CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。
本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
論文 参考訳(メタデータ) (2022-12-03T14:53:56Z) - Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文 参考訳(メタデータ) (2022-10-09T06:58:58Z) - Self-Supervised Coordinate Projection Network for Sparse-View Computed
Tomography [31.774432128324385]
本研究では,1つのSVシングラムからアーチファクトフリーCT像を再構成する自己監督コーディネートプロジェクションnEtwork(SCOPE)を提案する。
暗黙的ニューラル表現ネットワーク(INR)を用いた類似の問題を解決する最近の研究と比較して、我々の重要な貢献は効果的で単純な再投射戦略である。
論文 参考訳(メタデータ) (2022-09-12T06:14:04Z) - Deep Learning for Material Decomposition in Photon-Counting CT [0.5801044612920815]
そこで本研究では,PCCTにおける材料分解のための新たな深層学習ソリューションを提案する。
提案手法は,最大推定値,変分法,および完全学習ネットワークよりも優れる。
論文 参考訳(メタデータ) (2022-08-05T19:05:16Z) - Dual Perceptual Loss for Single Image Super-Resolution Using ESRGAN [13.335546116599494]
本稿では,従来の知覚損失を置き換えるためにDP損失(Dual Perceptual Loss)と呼ばれる手法を提案する。
VGG特徴とResNet特徴の相補的な性質のため、提案されたDPロスは2つの特徴を同時に学習する利点を考察する。
ベンチマークデータセットの定性的および定量的解析により,提案手法が最先端の超解像法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-01-17T12:42:56Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳(メタデータ) (2021-08-19T11:02:25Z) - Implicit Subspace Prior Learning for Dual-Blind Face Restoration [66.67059961379923]
新しい暗黙的サブスペース事前学習(ISPL)フレームワークが、二重盲顔復元の一般的な解決策として提案されている。
実験の結果,既存の最先端手法に対するISPLの認識歪改善が顕著であった。
論文 参考訳(メタデータ) (2020-10-12T08:04:24Z) - Structure-Preserving Super Resolution with Gradient Guidance [87.79271975960764]
単一画像超解像(SISR)の構造
最近のGAN(Generative Adversarial Network)による研究は、SISRの開発を促進している。
しかし、復元された画像には常に望ましくない構造歪みがある。
論文 参考訳(メタデータ) (2020-03-29T17:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。