論文の概要: UniRestore: Unified Perceptual and Task-Oriented Image Restoration Model Using Diffusion Prior
- arxiv url: http://arxiv.org/abs/2501.13134v1
- Date: Wed, 22 Jan 2025 08:06:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-24 15:55:33.203306
- Title: UniRestore: Unified Perceptual and Task-Oriented Image Restoration Model Using Diffusion Prior
- Title（参考訳）: UniRestore: 拡散事前を用いた統合知覚・タスク指向画像復元モデル
- Authors: I-Hsiang Chen, Wei-Ting Chen, Yu-Wei Liu, Yuan-Chun Chiang, Sy-Yen Kuo, Ming-Hsuan Yang,
- Abstract要約: 画像復元は、悪天候、ぼやけ、騒音などの様々な要因によって劣化した入力からコンテンツを回復することを目的としている。
本稿では,PIRとTIRのギャップを埋める統一画像復元モデルUniRestoreを紹介する。
本稿では,分解エンコーダの特徴を再構築するための補足的特徴回復モジュール (CFRM) と,デコーダの適応的特徴融合を容易にするタスク特徴適応モジュール (TFA) を提案する。
- 参考スコア（独自算出の注目度）: 56.35236964617809
- License:
- Abstract: Image restoration aims to recover content from inputs degraded by various factors, such as adverse weather, blur, and noise. Perceptual Image Restoration (PIR) methods improve visual quality but often do not support downstream tasks effectively. On the other hand, Task-oriented Image Restoration (TIR) methods focus on enhancing image utility for high-level vision tasks, sometimes compromising visual quality. This paper introduces UniRestore, a unified image restoration model that bridges the gap between PIR and TIR by using a diffusion prior. The diffusion prior is designed to generate images that align with human visual quality preferences, but these images are often unsuitable for TIR scenarios. To solve this limitation, UniRestore utilizes encoder features from an autoencoder to adapt the diffusion prior to specific tasks. We propose a Complementary Feature Restoration Module (CFRM) to reconstruct degraded encoder features and a Task Feature Adapter (TFA) module to facilitate adaptive feature fusion in the decoder. This design allows UniRestore to optimize images for both human perception and downstream task requirements, addressing discrepancies between visual quality and functional needs. Integrating these modules also enhances UniRestore's adapability and efficiency across diverse tasks. Extensive expertments demonstrate the superior performance of UniRestore in both PIR and TIR scenarios.
- Abstract（参考訳）: 画像復元は、悪天候、ぼやけ、騒音などの様々な要因によって劣化した入力からコンテンツを回復することを目的としている。
知覚的画像復元(PIR)手法は視覚的品質を改善するが、しばしば下流タスクを効果的にサポートしない。
一方、タスク指向画像復元(TIR)手法は、高レベルの視覚タスクのための画像ユーティリティの向上に重点を置いており、視覚的品質を損なうこともある。
拡散前の拡散を利用してPIRとTIRのギャップを埋める統合画像復元モデルUniRestoreを提案する。
拡散前の画像は人間の視覚的品質の嗜好に沿った画像を生成するように設計されているが、これらの画像はTIRシナリオには適さないことが多い。
この制限を解決するために、UniRestoreはオートエンコーダのエンコーダ機能を使用して、特定のタスクに先立って拡散を適応する。
本稿では,分解エンコーダの特徴を再構築するための補足的特徴回復モジュール (CFRM) と,デコーダの適応的特徴融合を容易にするタスク特徴適応モジュール (TFA) を提案する。
この設計により、UniRestoreは人間の知覚と下流のタスク要求の両方のイメージを最適化でき、視覚的品質と機能的ニーズの相違に対処できる。
これらのモジュールを統合することで、UniRestoreのアダプタビリティと、さまざまなタスクに対する効率性が向上する。
大規模な専門知識は、PIRシナリオとTIRシナリオの両方において、UniRestoreの優れたパフォーマンスを示す。
関連論文リスト
- MoE-DiffIR: Task-customized Diffusion Priors for Universal Compressed Image Restoration [16.482022642533448]
MoE-DiffIR (MoE-DiffIR) は、タスクカストマイズド拡散前処理を用いた革新的ユニバーサル圧縮画像復元法である。
MoE-DiffIRは強力なMix of-experts(MoE)プロンプトモジュールを開発する。
基本プロンプトのフレキシブルな割り当てを可能にするために,分解対応ルーティング機構を提案する。
論文 参考訳（メタデータ） (2024-07-15T15:43:27Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - LIR: A Lightweight Baseline for Image Restoration [4.187190284830909]
画像復元作業の本質的な特徴は、多くの作品で見落とされがちである。
LIRと呼ばれる画像復元のための軽量ベースラインネットワークを提案し、画像の効率よく復元し、劣化を除去する。
我々のLIRは、Pak Signal-to-Noise Ratio (PSNR)における最先端構造類似度指標(SSIM)および最先端モデルに匹敵する性能を達成する。
論文 参考訳（メタデータ） (2024-02-02T12:39:47Z) - Unified-Width Adaptive Dynamic Network for All-In-One Image Restoration [50.81374327480445]
本稿では, 複雑な画像劣化を基本劣化の観点で表現できる, という新しい概念を提案する。
We propose the Unified-Width Adaptive Dynamic Network (U-WADN) which consist of two pivotal components: a Width Adaptive Backbone (WAB) and a Width Selector (WS)。
提案したU-WADNは、最大32.3%のFLOPを同時に削減し、約15.7%のリアルタイム加速を実現している。
論文 参考訳（メタデータ） (2024-01-24T04:25:12Z) - Multimodal Prompt Perceiver: Empower Adaptiveness, Generalizability and Fidelity for All-in-One Image Restoration [58.11518043688793]
MPerceiverは、オールインワン画像復元のための適応性、一般化性、忠実性を高める新しいアプローチである。
MPerceiverは、オールインワンIRの9つのタスクでトレーニングされ、ほとんどのタスクで最先端のタスク固有のメソッドより優れています。
論文 参考訳（メタデータ） (2023-12-05T17:47:11Z) - Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。
まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。
これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
論文 参考訳（メタデータ） (2023-12-04T06:59:55Z) - Reti-Diff: Illumination Degradation Image Restoration with Retinex-based
Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。
これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。
我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。
Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文 参考訳（メタデータ） (2023-11-20T09:55:06Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:11:52Z) - DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image
Restoration [5.573836220587265]
本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。
DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。
複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
論文 参考訳（メタデータ） (2023-07-15T02:42:19Z) - A Dive into SAM Prior in Image Restoration [40.03648504115027]
画像復元(IR)の目的は、その劣化した低品質(LQ)観測から高品質(HQ)イメージを復元することである。
本稿では,既存のIRネットワークにセマンティックプリエントを組み込む軽量SAMプリエントチューニング(SPT)ユニットを提案する。
我々の手法で唯一訓練可能なモジュールとして、SPTユニットは効率とスケーラビリティの両方を改善する可能性がある。
論文 参考訳（メタデータ） (2023-05-23T02:31:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。