論文の概要: AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion
- arxiv url: http://arxiv.org/abs/2310.10123v5
- Date: Tue, 28 May 2024 09:10:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 04:17:08.421997
- Title: AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion
- Title（参考訳）: AutoDIR: 遅延拡散によるオールインワン画像の自動復元
- Authors: Yitong Jiang, Zhaoyang Zhang, Tianfan Xue, Jinwei Gu,
- Abstract要約: 本稿では,潜伏拡散を取り入れた画期的なオールインワン画像復元システムAutoDIRを提案する。
AutoDIRは、未知の劣化に苦しむ画像を自動的に識別し、復元する能力に優れています。
AutoDIRは直感的なオープン語彙の画像編集を提供し、ユーザーは好みに応じて画像をカスタマイズし、拡張することができる。
- 参考スコア（独自算出の注目度）: 24.185711160618276
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present AutoDIR, an innovative all-in-one image restoration system incorporating latent diffusion. AutoDIR excels in its ability to automatically identify and restore images suffering from a range of unknown degradations. AutoDIR offers intuitive open-vocabulary image editing, empowering users to customize and enhance images according to their preferences. Specifically, AutoDIR consists of two key stages: a Blind Image Quality Assessment (BIQA) stage based on a semantic-agnostic vision-language model which automatically detects unknown image degradations for input images, an All-in-One Image Restoration (AIR) stage utilizes structural-corrected latent diffusion which handles multiple types of image degradations. Extensive experimental evaluation demonstrates that AutoDIR outperforms state-of-the-art approaches for a wider range of image restoration tasks. The design of AutoDIR also enables flexible user control (via text prompt) and generalization to new tasks as a foundation model of image restoration. Project is available at: \url{https://jiangyitong.github.io/AutoDIR_webpage/}.
- Abstract（参考訳）: 本稿では,潜伏拡散を取り入れた画期的なオールインワン画像復元システムAutoDIRを提案する。
AutoDIRは、未知の劣化に苦しむ画像を自動的に識別し、復元する能力に優れています。
AutoDIRは直感的なオープン語彙の画像編集を提供し、ユーザーは好みに応じて画像をカスタマイズし、拡張することができる。
特に、AutoDIRは、入力画像の未知の画像劣化を自動的に検出する意味に依存しない視覚言語モデルに基づくブラインド画像品質評価(BIQA)ステージと、複数のタイプの画像劣化を処理する構造的補正された潜時拡散を利用するオールインワン画像復元(AIR)ステージの2つの主要なステージで構成されている。
大規模な実験的評価により、AutoDIRは幅広い画像復元タスクにおいて最先端のアプローチよりも優れていることが示された。
AutoDIRの設計は、(テキストプロンプトを介して)柔軟なユーザ制御と、画像復元の基礎モデルとしての新たなタスクへの一般化を可能にする。
プロジェクトは以下の通り。 \url{https://jiangyitong.github.io/AutoDIR_webpage/}。
関連論文リスト
- Training-Free Large Model Priors for Multiple-in-One Image Restoration [24.230376300759573]
大型モデル駆動画像復元フレームワーク(LMDIR)
我々のアーキテクチャは、グローバルな劣化知識を注入するクエリベースのプロンプトエンコーダ、分解対応トランスフォーマーブロックで構成されている。
この設計は、自動修復とユーザガイド修復の両方をサポートしながら、様々な劣化に対処するためのシングルステージトレーニングパラダイムを促進する。
論文 参考訳（メタデータ） (2024-07-18T05:40:32Z) - Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。
我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
論文 参考訳（メタデータ） (2024-04-15T12:34:21Z) - SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
セマンティック・復元型画像復元フレームワークであるSPIREを開発した。
本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。
本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
論文 参考訳（メタデータ） (2023-12-18T17:02:30Z) - DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior [70.46245698746874]
DiffBIRは、視覚の異なる画像復元タスクを処理できる一般的な修復パイプラインである。
DiffBIRは, ブラインド画像復元問題を, 1) 劣化除去: 画像に依存しない内容の除去; 2) 情報再生: 失われた画像内容の生成の2段階に分離する。
第1段階では, 修復モジュールを用いて劣化を除去し, 高忠実度復元結果を得る。
第2段階では、潜伏拡散モデルの生成能力を活用して現実的な詳細を生成するIRControlNetを提案する。
論文 参考訳（メタデータ） (2023-08-29T07:11:52Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - DRM-IR: Task-Adaptive Deep Unfolding Network for All-In-One Image
Restoration [5.573836220587265]
本研究は,効率的な動的参照モデリングパラダイム(DRM-IR)を提案する。
DRM-IRはタスク適応型劣化モデリングとモデルベースの画像復元で構成されている。
複数のベンチマークデータセットの実験は、DRM-IRがAll-In-One IRで最先端のIRを達成することを示している。
論文 参考訳（メタデータ） (2023-07-15T02:42:19Z) - Exploring Resolution and Degradation Clues as Self-supervised Signal for
Low Quality Object Detection [77.3530907443279]
劣化した低解像度画像中の物体を検出するための,新しい自己教師型フレームワークを提案する。
本手法は, 既存手法と比較して, 異変劣化状況に直面する場合に比べ, 優れた性能を示した。
論文 参考訳（メタデータ） (2022-08-05T09:36:13Z) - Learning Conditional Knowledge Distillation for Degraded-Reference Image
Quality Assessment [157.1292674649519]
劣化参照IQA(DR-IQA)という実用的な解を提案する。
DR-IQAはIRモデルの入力、劣化したイメージを参照として利用する。
私たちの結果は、フル参照設定のパフォーマンスに近いものもあります。
論文 参考訳（メタデータ） (2021-08-18T02:35:08Z) - Towards Unsupervised Deep Image Enhancement with Generative Adversarial
Network [92.01145655155374]
監視されていない画像強調生成ネットワーク(UEGAN)を提案する。
教師なしの方法で所望の特性を持つ画像の集合から、対応する画像と画像のマッピングを学習する。
その結果,提案モデルは画像の美的品質を効果的に向上することがわかった。
論文 参考訳（メタデータ） (2020-12-30T03:22:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。