論文の概要: Raising The Limit Of Image Rescaling Using Auxiliary Encoding
- arxiv url: http://arxiv.org/abs/2303.06747v1
- Date: Sun, 12 Mar 2023 20:49:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 17:08:40.727690
- Title: Raising The Limit Of Image Rescaling Using Auxiliary Encoding
- Title(参考訳): 補助符号化による画像再スケーリングの限界化
- Authors: Chenzhong Yin, Zhihong Pan, Xin Zhou, Le Kang and Paul Bogdan
- Abstract要約: 近年、IRNのような画像再スケーリングモデルは、INNの双方向性を利用して、画像アップスケーリングのパフォーマンス限界を押し上げている。
本稿では,画像再スケーリング性能の限界をさらに押し上げるために,補助符号化モジュールを提案する。
- 参考スコア(独自算出の注目度): 7.9700865143145485
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Normalizing flow models using invertible neural networks (INN) have been
widely investigated for successful generative image super-resolution (SR) by
learning the transformation between the normal distribution of latent variable
$z$ and the conditional distribution of high-resolution (HR) images gave a
low-resolution (LR) input. Recently, image rescaling models like IRN utilize
the bidirectional nature of INN to push the performance limit of image
upscaling by optimizing the downscaling and upscaling steps jointly. While the
random sampling of latent variable $z$ is useful in generating diverse
photo-realistic images, it is not desirable for image rescaling when accurate
restoration of the HR image is more important. Hence, in places of random
sampling of $z$, we propose auxiliary encoding modules to further push the
limit of image rescaling performance. Two options to store the encoded latent
variables in downscaled LR images, both readily supported in existing image
file format, are proposed. One is saved as the alpha-channel, the other is
saved as meta-data in the image header, and the corresponding modules are
denoted as suffixes -A and -M respectively. Optimal network architectural
changes are investigated for both options to demonstrate their effectiveness in
raising the rescaling performance limit on different baseline models including
IRN and DLV-IRN.
- Abstract(参考訳): 潜在変数 $z$ の正規分布と高分解能 (hr) 画像の条件分布の変換を学習することにより, invertible neural network (inn) を用いた正規化フローモデルが広く研究され, 低分解能 (lr) 入力が得られた。
近年、IRNのような画像再スケーリングモデルでは、画像アップスケーリングのパフォーマンス限界を、ダウンスケーリングとアップスケーリングのステップを同時に最適化することで、INNの双方向性を活用している。
遅延変数$z$のランダムサンプリングは多彩なフォトリアリスティック画像を生成するのに有用であるが、HR画像の正確な復元がより重要である場合、画像再スケーリングには適さない。
そこで,z$をランダムにサンプリングする場合,画像再スケーリング性能の限界を押し上げるために,補助符号化モジュールを提案する。
既存の画像ファイルフォーマットで容易にサポートされているダウンスケールのLR画像に符号化された潜在変数を格納する2つのオプションを提案する。
1つはアルファチャネルとして保存され、もう1つはイメージヘッダ内のメタデータとして保存され、対応するモジュールはそれぞれ-aと-mと表記される。
IRN や DLV-IRN など,異なるベースラインモデルにおいて,再スケーリング性能の限界を高くする上での有効性を示すため,ネットワークアーキテクチャの最適変更について検討した。
関連論文リスト
- Image-GS: Content-Adaptive Image Representation via 2D Gaussians [55.15950594752051]
本稿では,コンテンツ適応型画像表現であるImage-GSを提案する。
異方性2Dガウスアンをベースとして、Image-GSは高いメモリ効率を示し、高速なランダムアクセスをサポートし、自然なレベルのディテールスタックを提供する。
画像-GSの一般的な効率性と忠実性は、最近のニューラルイメージ表現と業界標準テクスチャ圧縮機に対して検証される。
この研究は、機械認識、アセットストリーミング、コンテンツ生成など、適応的な品質とリソース制御を必要とする新しいアプリケーションを開発するための洞察を与えてくれることを願っている。
論文 参考訳(メタデータ) (2024-07-02T00:45:21Z) - Arbitrary-Scale Image Generation and Upsampling using Latent Diffusion Model and Implicit Neural Decoder [29.924160271522354]
超解像度(SR)と画像生成はコンピュータビジョンにおいて重要なタスクであり、現実世界のアプリケーションで広く採用されている。
しかし、既存のほとんどの手法は、固定スケールの倍率でのみ画像を生成し、過度なスムーシングやアーティファクトに悩まされている。
最も関連する研究は、インプリシット神経表現(INR)をデノナイズ拡散モデルに適用し、連続分解能で多種多様で高品質なSR結果を得た。
任意のスケールで入力画像の超解像やランダムノイズから生成できる新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2024-03-15T12:45:40Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - Beyond Learned Metadata-based Raw Image Reconstruction [86.1667769209103]
生画像は、線形性や微細な量子化レベルなど、sRGB画像に対して明確な利点がある。
ストレージの要求が大きいため、一般ユーザからは広く採用されていない。
本稿では,メタデータとして,潜在空間におけるコンパクトな表現を学習する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-21T06:59:07Z) - Self-Asymmetric Invertible Network for Compression-Aware Image Rescaling [6.861753163565238]
現実世界のアプリケーションでは、ほとんどの画像は伝送のために圧縮される。
圧縮対応画像再スケーリングのための自己非対称可逆ネットワーク(SAIN)を提案する。
論文 参考訳(メタデータ) (2023-03-04T08:33:46Z) - Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。
本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。
LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文 参考訳(メタデータ) (2022-09-26T22:22:30Z) - Enhancing Image Rescaling using Dual Latent Variables in Invertible
Neural Network [42.18106162158025]
画像ダウンスケーリングプロセスのバリエーションをモデル化するために、新しいダウンスケーリング潜在変数が導入された。
これにより、ダウンスケールのLR画像の画質を犠牲にすることなく、画像のアップスケーリング精度を一貫して向上させることができる。
また、画像隠蔽のような画像復元アプリケーションのための他の INN ベースのモデルの拡張にも有効であることが示されている。
論文 参考訳(メタデータ) (2022-07-24T23:12:51Z) - LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single
Image Super-Resolution and Beyond [75.37541439447314]
単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。
本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
論文 参考訳(メタデータ) (2021-05-21T15:47:18Z) - Super-Resolution of Real-World Faces [3.4376560669160394]
実の低解像度 (LR) の顔画像は、変わらず複雑で既知のダウンサンプリングカーネルによってキャプチャされる劣化を含んでいる。
本稿では,特徴抽出モジュールがLR画像からロバストな特徴を抽出する2つのモジュール超解像ネットワークを提案する。
我々は、劣化GANを訓練し、双対的に縮小されたクリーン画像を実際の劣化画像に変換し、得られた劣化LR画像と、そのクリーンLR画像とを補間する。
論文 参考訳(メタデータ) (2020-11-04T17:25:54Z) - Locally Masked Convolution for Autoregressive Models [107.4635841204146]
LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。
我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
論文 参考訳(メタデータ) (2020-06-22T17:59:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。