論文の概要: Degradation-Aware Residual-Conditioned Optimal Transport for Unified Image Restoration

• arxiv url: http://arxiv.org/abs/2411.01656v1
• Date: Sun, 03 Nov 2024 18:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:47.654565
• Title: Degradation-Aware Residual-Conditioned Optimal Transport for Unified Image Restoration
• Title（参考訳）: 画像の一元復元のための残差を考慮した最適輸送
• Authors: Xiaole Tang, Xiang Gu, Xiaoyi He, Xin Hu, Jian Sun,
• Abstract要約: オールインワン画像復元は、現実のアプリケーションのための実用的で有望な低レベル視覚タスクとして登場した。 本稿では, 画像復元を最適輸送問題としてモデル化する, DA-RCOT (Degradation-Aware Residual-Conditioned Optimal Transport) アプローチを提案する。 DA-RCOTは,複数の劣化があっても現実のシナリオに優れた適応性を提供し,劣化レベルと劣化数の両方に顕著な堅牢性を示す。
• 参考スコア（独自算出の注目度）: 39.52747104610541
• License:
• Abstract: All-in-one image restoration has emerged as a practical and promising low-level vision task for real-world applications. In this context, the key issue lies in how to deal with different types of degraded images simultaneously. In this work, we present a Degradation-Aware Residual-Conditioned Optimal Transport (DA-RCOT) approach that models (all-in-one) image restoration as an optimal transport (OT) problem for unpaired and paired settings, introducing the transport residual as a degradation-specific cue for both the transport cost and the transport map. Specifically, we formalize image restoration with a residual-guided OT objective by exploiting the degradation-specific patterns of the Fourier residual in the transport cost. More crucially, we design the transport map for restoration as a two-pass DA-RCOT map, in which the transport residual is computed in the first pass and then encoded as multi-scale residual embeddings to condition the second-pass restoration. This conditioning process injects intrinsic degradation knowledge (e.g., degradation type and level) and structural information from the multi-scale residual embeddings into the OT map, which thereby can dynamically adjust its behaviors for all-in-one restoration. Extensive experiments across five degradations demonstrate the favorable performance of DA-RCOT as compared to state-of-the-art methods, in terms of distortion measures, perceptual quality, and image structure preservation. Notably, DA-RCOT delivers superior adaptability to real-world scenarios even with multiple degradations and shows distinctive robustness to both degradation levels and the number of degradations.
• Abstract（参考訳）: オールインワン画像復元は、現実のアプリケーションのための実用的で有望な低レベル視覚タスクとして登場した。 この文脈では、重要な問題は、異なるタイプの劣化したイメージを同時に扱う方法にある。 本稿では, 画像復元を未ペアおよびペア設定の最適輸送(OT)問題としてモデル化し, 輸送コストと輸送マップの両面において, 輸送残差を分解特異的なキューとして導入する, 劣化認識残差決定型最適輸送(DA-RCOT)手法を提案する。 具体的には、輸送コストにおけるフーリエ残差の劣化特異的パターンを利用して、残差誘導OT目標による画像復元を定式化する。 さらに,2パスのDA-RCOTマップとして,第1パスでトランスポート残差を計算し,第2パスの復元を条件としたマルチスケール残差埋め込みとして符号化するトランスポートマップを設計する。 この条件付けプロセスは、内在的劣化知識(例えば、劣化タイプとレベル)と多スケール残留埋め込みから構造情報をOTマップに注入することにより、オールインワン復元のためにその挙動を動的に調整することができる。 DA-RCOTは, 歪み測定, 知覚的品質, 画像構造保存の観点から, 最先端の手法と比較して, 広範囲にわたる実験により良好な性能を示した。 特に、DA-RCOTは、複数の劣化があっても現実のシナリオに優れた適応性を提供し、劣化レベルと劣化数の両方に顕著な堅牢性を示す。

関連論文リスト

• Perceive-IR: Learning to Perceive Degradation Better for All-in-One Image Restoration [33.163161549726446]
  Perceive-IRは、微細な画質制御を実現するために設計されたオールインワン画像復元装置である。 素早い学習の段階では、素早い学習を活用し、3段階の品質レベルを識別できるきめ細かい品質知覚器を得る。 修復段階では,修復プロセスをさらに促進するために,意味的誘導モジュールとコンパクトな特徴抽出を提案する。
  論文  参考訳（メタデータ） (2024-08-28T17:58:54Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Residual-Conditioned Optimal Transport: Towards Structure-Preserving Unpaired and Paired Image Restoration [42.01716967725075]
  画像復元のためのResidual-Conditioned Optimal Transport (RCOT) アプローチを提案する。 二重性により、RCOT問題は最小限の最適化問題に変換され、ニューラルネットワークを敵対的に訓練することで解決される。
  論文  参考訳（メタデータ） (2024-05-05T08:19:04Z)
• Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction [62.955327005837475]
  画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
  論文  参考訳（メタデータ） (2023-10-29T13:58:57Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
  空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。 本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
  論文  参考訳（メタデータ） (2021-08-19T11:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。