Fugu-MT 論文翻訳(概要): InstantIR: Blind Image Restoration with Instant Generative Reference

論文の概要: InstantIR: Blind Image Restoration with Instant Generative Reference

arxiv url: http://arxiv.org/abs/2410.06551v1
Date: Wed, 9 Oct 2024 05:15:29 GMT
ステータス: 処理完了
システム内更新日: 2024-11-01 04:59:08.375740
Title: InstantIR: Blind Image Restoration with Instant Generative Reference
Title（参考訳）: InstantIR:インスタント生成参照によるブラインド画像復元
Authors: Jen-Yuan Huang, Haofan Wang, Qixun Wang, Xu Bai, Hao Ai, Peng Xing, Jen-Tse Huang,
Abstract要約: 本稿では,新しい拡散型BIR法であるInstant-Reference Image Restoration(InstantIR)を紹介する。まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。
参考スコア（独自算出の注目度）: 10.703499573064537
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Handling test-time unknown degradation is the major challenge in Blind Image Restoration (BIR), necessitating high model generalization. An effective strategy is to incorporate prior knowledge, either from human input or generative model. In this paper, we introduce Instant-reference Image Restoration (InstantIR), a novel diffusion-based BIR method which dynamically adjusts generation condition during inference. We first extract a compact representation of the input via a pre-trained vision encoder. At each generation step, this representation is used to decode current diffusion latent and instantiate it in the generative prior. The degraded image is then encoded with this reference, providing robust generation condition. We observe the variance of generative references fluctuate with degradation intensity, which we further leverage as an indicator for developing a sampling algorithm adaptive to input quality. Extensive experiments demonstrate InstantIR achieves state-of-the-art performance and offering outstanding visual quality. Through modulating generative references with textual description, InstantIR can restore extreme degradation and additionally feature creative restoration.
Abstract（参考訳）: テスト時間未知の劣化の処理は、高モデル一般化を必要とするBlind Image Restoration(BIR)において大きな課題である。効果的な戦略は、人間の入力または生成モデルから、事前の知識を取り入れることである。本稿では,Instant-Reference Image Restoration (InstantIR)を提案する。まず、事前学習された視覚エンコーダを介して入力のコンパクトな表現を抽出する。各生成ステップにおいて、この表現は、電流拡散潜時をデコードし、生成前でインスタンス化する。劣化した画像をこの参照で符号化し、堅牢な生成条件を提供する。生成参照のばらつきは劣化強度によって変動し,さらに入力品質に適応したサンプリングアルゴリズムを開発するための指標として活用する。大規模な実験は、InstantIRが最先端のパフォーマンスを達成し、優れた視覚的品質を提供することを示す。生成参照をテキスト記述で調節することで、InstantIRは極端な劣化を回復し、さらに創造的な復元を特徴付けることができる。

関連論文リスト

Time Step Generating: A Universal Synthesized Deepfake Image Detector [0.4488895231267077]
汎用合成画像検出器 Time Step Generating (TSG) を提案する。 TSGは、事前訓練されたモデルの再構築能力、特定のデータセット、サンプリングアルゴリズムに依存していない。我々は,提案したTSGを大規模GenImageベンチマークで検証し,精度と一般化性の両方において大幅な改善を実現した。
論文参考訳（メタデータ） (2024-11-17T09:39:50Z)
All-in-one Weather-degraded Image Restoration via Adaptive Degradation-aware Self-prompting Model [23.940339806402882]
オールインワンの気象劣化画像復元のための既存のアプローチは、劣化認識の事前利用における非効率性に悩まされている。我々は、オールインワンの気象劣化画像復元のための適応型劣化認識自己プロンプトモデル(ADSM)を開発した。
論文参考訳（メタデータ） (2024-11-12T00:07:16Z)
A Survey on All-in-One Image Restoration: Taxonomy, Evaluation and Future Trends [67.43992456058541]
画像復元(IR)とは、ノイズ、ぼかし、気象効果などの劣化を除去しながら、画像の視覚的品質を改善する過程である。従来のIR手法は、一般的に特定の種類の劣化をターゲットとしており、複雑な歪みを伴う現実のシナリオにおいて、その効果を制限している。オールインワン画像復元(AiOIR)パラダイムが登場し、複数の劣化タイプに順応的に対処する統一されたフレームワークを提供する。
論文参考訳（メタデータ） (2024-10-19T11:11:09Z)
Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文参考訳（メタデータ） (2024-07-04T05:01:10Z)
DaLPSR: Leverage Degradation-Aligned Language Prompt for Real-World Image Super-Resolution [19.33582308829547]
本稿では, 精度, 精細度, 高忠実度画像復元のために, 劣化対応言語プロンプトを活用することを提案する。提案手法は,新しい最先端の知覚品質レベルを実現する。
論文参考訳（メタデータ） (2024-06-24T09:30:36Z)
PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal [138.38229287266915]
既存のシングルイメージリフレクション除去法(SIRR)は、画像のキー低周波(LF)と高周波(HF)の違いを見逃す傾向がある。本稿では、周波数情報を新しい視覚的プロンプトとして利用し、反射性能を向上する新しいプロンプト誘導反射除去フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-04T07:11:10Z)
Reti-Diff: Illumination Degradation Image Restoration with Retinex-based Latent Diffusion Model [59.08821399652483]
照明劣化画像復元(IDIR)技術は、劣化した画像の視認性を改善し、劣化した照明の悪影響を軽減することを目的としている。これらのアルゴリズムのうち、拡散モデル(DM)に基づく手法は期待できる性能を示しているが、画像レベルの分布を予測する際に、重い計算要求や画素の不一致の問題に悩まされることが多い。我々は、コンパクトな潜在空間内でDMを活用して、簡潔な指導先を生成することを提案し、IDIRタスクのためのReti-Diffと呼ばれる新しいソリューションを提案する。 Reti-Diff は Retinex-based Latent DM (RLDM) と Retinex-Guided Transformer (RG) の2つの鍵成分からなる。
論文参考訳（メタデータ） (2023-11-20T09:55:06Z)
Efficient Test-Time Adaptation for Super-Resolution with Second-Order Degradation and Reconstruction [62.955327005837475]
画像超解像(SR)は,低分解能(LR)から高分解能(HR)へのマッピングを,一対のHR-LRトレーニング画像を用いて学習することを目的としている。 SRTTAと呼ばれるSRの効率的なテスト時間適応フレームワークを提案し、SRモデルを異なる/未知の劣化型でテストドメインに迅速に適応させることができる。
論文参考訳（メタデータ） (2023-10-29T13:58:57Z)
Invertible Rescaling Network and Its Extensions [118.72015270085535]
本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
論文参考訳（メタデータ） (2022-10-09T06:58:58Z)
ReStyle: A Residual-Based StyleGAN Encoder via Iterative Refinement [46.48263482909809]
本稿では,現在のエンコーダに基づくインバージョン法を拡張する新しいインバージョンスキームを提案する。 ReStyleという名前の残差ベースのエンコーダは、現在の最先端のエンコーダベースの手法と比べて、推論時間の無視できるほど精度が向上する。
論文参考訳（メタデータ） (2021-04-06T17:47:13Z)
Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文参考訳（メタデータ） (2020-08-25T03:30:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。