論文の概要: InstructRestore: Region-Customized Image Restoration with Human Instructions
- arxiv url: http://arxiv.org/abs/2503.24357v1
- Date: Mon, 31 Mar 2025 17:36:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-01 14:34:56.219707
- Title: InstructRestore: Region-Customized Image Restoration with Human Instructions
- Title（参考訳）: InstructRestore: 人間の指示による地域別画像復元
- Authors: Shuaizheng Liu, Jianqi Ma, Lingchen Sun, Xiangtao Kong, Lei Zhang,
- Abstract要約: InstructRestoreと呼ばれる新しいフレームワークを提案し、人間の指示に従って領域調整可能な画像復元を行う。
まず、高品質な画像、対象領域の記述、および対応する領域マスクからなるトレーニング三重項を生成するデータ生成エンジンを開発する。
次に、制御ネットアーキテクチャの下で低画質の画像機能を統合する方法を検討し、画像詳細化の度合いを調整した。
- 参考スコア（独自算出の注目度）: 11.32695520392065
- License:
- Abstract: Despite the significant progress in diffusion prior-based image restoration, most existing methods apply uniform processing to the entire image, lacking the capability to perform region-customized image restoration according to user instructions. In this work, we propose a new framework, namely InstructRestore, to perform region-adjustable image restoration following human instructions. To achieve this, we first develop a data generation engine to produce training triplets, each consisting of a high-quality image, the target region description, and the corresponding region mask. With this engine and careful data screening, we construct a comprehensive dataset comprising 536,945 triplets to support the training and evaluation of this task. We then examine how to integrate the low-quality image features under the ControlNet architecture to adjust the degree of image details enhancement. Consequently, we develop a ControlNet-like model to identify the target region and allocate different integration scales to the target and surrounding regions, enabling region-customized image restoration that aligns with user instructions. Experimental results demonstrate that our proposed InstructRestore approach enables effective human-instructed image restoration, such as images with bokeh effects and user-instructed local enhancement. Our work advances the investigation of interactive image restoration and enhancement techniques. Data, code, and models will be found at https://github.com/shuaizhengliu/InstructRestore.git.
- Abstract（参考訳）: 拡散前の画像復元の著しい進歩にもかかわらず、既存のほとんどの手法では、画像全体に対して一様処理を適用しており、ユーザ指示に従って領域カスタマイズ画像復元を行う能力が欠如している。
本研究では,人間の指示に従って領域調整可能な画像復元を行うための新しいフレームワークであるInstructRestoreを提案する。
そこで我々はまず,高品質な画像,対象領域の記述,および対応する領域マスクからなるトレーニング三重項を生成するデータ生成エンジンを開発する。
このエンジンと注意深いデータスクリーニングにより,536,945個の三重項からなる包括的データセットを構築し,タスクのトレーニングと評価を支援する。
次に、制御ネットアーキテクチャの下で低画質の画像機能を統合する方法を検討し、画像詳細化の度合いを調整した。
その結果、ターゲット領域を識別し、異なる統合スケールをターゲット領域と周辺領域に割り当てる制御ネット型モデルを構築し、ユーザ指示に整合した領域適応型画像復元を可能にする。
実験の結果,提案手法により,ボケ効果画像やユーザ指示ローカルエンハンスメント画像など,効果的なヒューマンインストラクト画像復元が可能となった。
本研究は,インタラクティブな画像復元・拡張技術の研究を推進している。
データ、コード、モデルはhttps://github.com/shuaizhengliu/InstructRestore.gitにある。
関連論文リスト
- PromptFix: You Prompt and We Fix the Photo [84.69812824355269]
言語モデルを備えた拡散モデルは、画像生成タスクにおいて優れた制御性を示す。
多様な命令追跡データの欠如は、モデルの開発を妨げている。
本稿では,人間の指示に従う拡散モデルを実現するフレームワークであるPromptFixを提案する。
論文 参考訳（メタデータ） (2024-05-27T03:13:28Z) - InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。
InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
論文 参考訳（メタデータ） (2024-01-29T18:53:33Z) - Restoration by Generation with Constrained Priors [25.906981634736795]
入力画像にノイズを付加して復調し、復調させることで、画像復元のための事前学習拡散モデルを適用する方法を提案する。
複数の実世界の復元データセットにおいて、アイデンティティと画質の保存において優れた性能を示す。
このアプローチにより、従来の作業ではできなかった高周波の詳細を正確に保存する結果が得られます。
論文 参考訳（メタデータ） (2023-12-28T17:50:54Z) - SPIRE: Semantic Prompt-Driven Image Restoration [66.26165625929747]
セマンティック・復元型画像復元フレームワークであるSPIREを開発した。
本手法は,復元強度の量的仕様を言語ベースで記述することで,より詳細な指導を支援する最初のフレームワークである。
本実験は, SPIREの修復性能が, 現状と比較して優れていることを示すものである。
論文 参考訳（メタデータ） (2023-12-18T17:02:30Z) - PRISM: Progressive Restoration for Scene Graph-based Image Manipulation [47.77003316561398]
PRISMは、シーン内の操作された領域の精度と品質を改善するために、新しいマルチヘッド画像操作手法である。
本研究は,シーングラフに基づく画像操作の品質と精度を高めるためのアプローチの可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-03T21:30:34Z) - Revisiting Image Reconstruction for Semi-supervised Semantic
Segmentation [16.27277238968567]
画像再構成を補助課題として利用し、半教師付きセマンティックセグメンテーションフレームワークに組み込むという考え方を再考する。
驚くことに、このような半教師付き学習の古いアイデアは、最先端のセマンティックセグメンテーションアルゴリズムと競合する結果をもたらす。
論文 参考訳（メタデータ） (2023-03-17T06:31:06Z) - Efficient and Explicit Modelling of Image Hierarchies for Image
Restoration [120.35246456398738]
本研究では,画像復元のためのグローバル,地域,地域領域における画像階層を効率的に,かつ明示的にモデル化する機構を提案する。
そこで本研究では, 空間と時間的複雑性のバランスが良く, 固定されたストライプ自己注意を提案する。
そこで我々はGlobal, Regional, Local Rangeにおける画像階層を明示的にモデル化するGRLと呼ばれる新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-03-01T18:59:29Z) - Image Restoration using Feature-guidance [43.02281823557039]
そこで本稿では,画像の劣化の空間的特性と,画像固有の特性を扱うための新しいアプローチを提案する。
修復作業は,分解局所化と劣化地域誘導修復の2段階に分解する。
この補助作業のために訓練されたモデルは、修復ネットワークのトレーニングをガイドするために活用できる重要な地域知識を含んでいることを実証する。
論文 参考訳（メタデータ） (2022-01-01T13:10:19Z) - GLocal: Global Graph Reasoning and Local Structure Transfer for Person
Image Generation [2.580765958706854]
我々は、人像生成、すなわち、腐敗したテクスチャや異なるポーズなど、様々な条件下で人像を生成することに焦点を当てる。
本稿では,異なる意味領域間のスタイル相互相関を世界規模で推論することで,咬合認識のテクスチャ推定を改善するためのGLocalフレームワークを提案する。
局所構造情報保存のために,さらにソース画像の局所構造を抽出し,局所構造転送により生成画像に復元する。
論文 参考訳（メタデータ） (2021-12-01T03:54:30Z) - Controllable Person Image Synthesis with Spatially-Adaptive Warped
Normalization [72.65828901909708]
制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。
本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。
本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
論文 参考訳（メタデータ） (2021-05-31T07:07:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。