論文の概要: Invertible Rescaling Network and Its Extensions
- arxiv url: http://arxiv.org/abs/2210.04188v1
- Date: Sun, 9 Oct 2022 06:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 16:08:32.008166
- Title: Invertible Rescaling Network and Its Extensions
- Title（参考訳）: 可逆再スケーリングネットワークとその拡張
- Authors: Mingqing Xiao, Shuxin Zheng, Chang Liu, Zhouchen Lin, Tie-Yan Liu
- Abstract要約: 本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。
我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。
そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
- 参考スコア（独自算出の注目度）: 118.72015270085535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image rescaling is a commonly used bidirectional operation, which first
downscales high-resolution images to fit various display screens or to be
storage- and bandwidth-friendly, and afterward upscales the corresponding
low-resolution images to recover the original resolution or the details in the
zoom-in images. However, the non-injective downscaling mapping discards
high-frequency contents, leading to the ill-posed problem for the inverse
restoration task. This can be abstracted as a general image
degradation-restoration problem with information loss. In this work, we propose
a novel invertible framework to handle this general problem, which models the
bidirectional degradation and restoration from a new perspective, i.e.
invertible bijective transformation. The invertibility enables the framework to
model the information loss of pre-degradation in the form of distribution,
which could mitigate the ill-posed problem during post-restoration. To be
specific, we develop invertible models to generate valid degraded images and
meanwhile transform the distribution of lost contents to the fixed distribution
of a latent variable during the forward degradation. Then restoration is made
tractable by applying the inverse transformation on the generated degraded
image together with a randomly-drawn latent variable. We start from image
rescaling and instantiate the model as Invertible Rescaling Network (IRN),
which can be easily extended to the similar decolorization-colorization task.
We further propose to combine the invertible framework with existing
degradation methods such as image compression for wider applications.
Experimental results demonstrate the significant improvement of our model over
existing methods in terms of both quantitative and qualitative evaluations of
upscaling and colorizing reconstruction from downscaled and decolorized images,
and rate-distortion of image compression.
- Abstract（参考訳）: イメージリスケーリングは、一般的に使用される双方向操作であり、まず、様々なディスプレイ画面に適合するように高解像度画像をスケールダウンするか、ストレージや帯域幅に優しいものにし、その後、対応する低解像度画像をスケールアップして元の解像度やズームイン画像の詳細を復元する。
しかし、非インジェクティブなダウンスケーリングマッピングは高周波コンテンツを破棄し、逆復元タスクの不正な問題を引き起こす。
これは、情報損失を伴う一般的な画像劣化復元問題として抽象化できる。
本研究では, この一般問題に対処する新しい可逆的枠組みを提案し, 新たな視点,すなわち可逆的単射変換から双方向の劣化と復元をモデル化する。
この可逆性により、フレームワークは、事前劣化による情報損失を分散形式でモデル化することができ、再回復時に生じる問題を軽減することができる。
具体的には, 有効な劣化画像を生成するための可逆モデルを開発し, その一方で, 失われたコンテンツの分布を前方劣化中の潜在変数の固定分布に変換する。
そして、生成した劣化画像にランダムに描画された潜在変数と共に逆変換を適用して復元可能とする。
画像の再スケーリングから始まり、モデルを逆再スケーリングネットワーク(irn)としてインスタンス化します。
さらに,可逆フレームワークと画像圧縮などの既存の劣化手法を組み合わせることで,より広いアプリケーションを実現することを提案する。
実験結果から,ダウンスケールおよびデカラー化画像からのアップスケールおよびカラー化再構成の定量的および定性的評価と,画像圧縮の速度歪みの両面から,既存手法に対するモデルの有効性が示された。
関連論文リスト
- Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。
我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。
また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
論文 参考訳（メタデータ） (2024-07-04T05:01:10Z) - All-in-one Multi-degradation Image Restoration Network via Hierarchical
Degradation Representation [47.00239809958627]
我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。
AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。
この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
論文 参考訳（メタデータ） (2023-08-06T04:51:41Z) - Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。
得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。
特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
論文 参考訳（メタデータ） (2023-03-24T14:14:25Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳（メタデータ） (2023-03-13T06:05:18Z) - Self-Asymmetric Invertible Network for Compression-Aware Image Rescaling [6.861753163565238]
現実世界のアプリケーションでは、ほとんどの画像は伝送のために圧縮される。
圧縮対応画像再スケーリングのための自己非対称可逆ネットワーク(SAIN)を提案する。
論文 参考訳（メタデータ） (2023-03-04T08:33:46Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳（メタデータ） (2021-08-19T11:02:25Z) - Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳（メタデータ） (2020-08-25T03:30:53Z) - Invertible Image Rescaling [118.2653765756915]
Invertible Rescaling Net (IRN) を開発した。
我々は、ダウンスケーリングプロセスにおいて、指定された分布に従う潜在変数を用いて、失われた情報の分布をキャプチャする。
論文 参考訳（メタデータ） (2020-05-12T09:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。