論文の概要: Learning Dual-Level Deformable Implicit Representation for Real-World Scale Arbitrary Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.10925v1
- Date: Sat, 16 Mar 2024 13:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:06:03.148747
- Title: Learning Dual-Level Deformable Implicit Representation for Real-World Scale Arbitrary Super-Resolution
- Title(参考訳): 実世界規模任意超解法のためのデュアルレベル変形型命令表現の学習
- Authors: Zhiheng Li, Muheng Li, Jixuan Fan, Lei Chen, Yansong Tang, Jie Zhou, Jiwen Lu,
- Abstract要約: 実世界の任意の超解像のトレーニングと評価のために,整数と非整数のスケーリング因子を併用した新しい実世界の超解像ベンチマークを構築した。
具体的には,実世界の劣化による画像レベルの変形と画素レベルの変形の両方を扱うために,外観埋め込みと変形場を設計する。
実世界の任意の超解像のためのRealArbiSRおよびRealSRベンチマークの最先端性能を実現する。
- 参考スコア(独自算出の注目度): 81.74583887661794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scale arbitrary super-resolution based on implicit image function gains increasing popularity since it can better represent the visual world in a continuous manner. However, existing scale arbitrary works are trained and evaluated on simulated datasets, where low-resolution images are generated from their ground truths by the simplest bicubic downsampling. These models exhibit limited generalization to real-world scenarios due to the greater complexity of real-world degradations. To address this issue, we build a RealArbiSR dataset, a new real-world super-resolution benchmark with both integer and non-integer scaling factors for the training and evaluation of real-world scale arbitrary super-resolution. Moreover, we propose a Dual-level Deformable Implicit Representation (DDIR) to solve real-world scale arbitrary super-resolution. Specifically, we design the appearance embedding and deformation field to handle both image-level and pixel-level deformations caused by real-world degradations. The appearance embedding models the characteristics of low-resolution inputs to deal with photometric variations at different scales, and the pixel-based deformation field learns RGB differences which result from the deviations between the real-world and simulated degradations at arbitrary coordinates. Extensive experiments show our trained model achieves state-of-the-art performance on the RealArbiSR and RealSR benchmarks for real-world scale arbitrary super-resolution. Our dataset as well as source code will be publicly available.
- Abstract(参考訳): 暗黙のイメージ関数に基づく任意の超解像は、連続的に視覚世界を表現できるため、人気が高まる。
しかし、既存のスケールの任意の作業は、シミュレーションデータセットに基づいて訓練され、評価され、そこでは、最も単純なバイコビックなダウンサンプリングによって、地上の真実から低解像度の画像が生成される。
これらのモデルは、現実世界の劣化の複雑さが大きいため、現実のシナリオへの限定的な一般化を示す。
この問題に対処するため、我々はRealArbiSRデータセットを構築した。これは、実世界の任意の超分解能のトレーニングと評価のための整数および非整数スケーリング要素を備えた新しい実世界の超分解能ベンチマークである。
さらに、実世界の任意の超解像を解くために、Dual-level Deformable Implicit Representation (DDIR)を提案する。
具体的には,実世界の劣化による画像レベルの変形と画素レベルの変形の両方を扱うために,外観埋め込みと変形場を設計する。
外観埋め込みは、異なるスケールでの測光変動を扱うための低解像度入力の特性をモデル化し、画素ベースの変形場は、実世界と任意の座標でのシミュレーション劣化のずれから生じるRGB差を学習する。
大規模な実験により,実世界の任意の超解像のためのRealArbiSRおよびRealSRベンチマークの最先端性能が得られた。
当社のデータセットとソースコードは公開されます。
関連論文リスト
- Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。
また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
論文 参考訳(メタデータ) (2023-09-09T14:11:37Z) - Exploiting Digital Surface Models for Inferring Super-Resolution for
Remotely Sensed Images [2.3204178451683264]
本稿では,SRRモデルにリアルなリモートセンシング画像の出力を強制する新しい手法を提案する。
画像の通常のデジタル表面モデル(nDSM)から推定されるピクセルレベルの情報を知覚的損失として特徴空間の類似性に頼る代わりに、モデルが考慮する。
視覚検査に基づいて、推定された超解像画像は、特に優れた品質を示す。
論文 参考訳(メタデータ) (2022-05-09T06:02:50Z) - Any-resolution Training for High-resolution Image Synthesis [55.19874755679901]
生成モデルは、様々な大きさの自然画像であっても、一定の解像度で動作します。
すべてのピクセルが重要であり、そのネイティブ解像度で収集された可変サイズのイメージを持つデータセットを作成する、と我々は主張する。
ランダムなスケールでパッチをサンプリングし、可変出力解像度で新しいジェネレータを訓練するプロセスである。
論文 参考訳(メタデータ) (2022-04-14T17:59:31Z) - Scale-arbitrary Invertible Image Downscaling [17.67415618760949]
本稿では,任意のスケールファクタを持つHR画像のダウンスケールを実現するために,AIDN(Scale-Arbitrary Invertible Image Downscaling Network)を提案する。
我々のAIDNは、任意の整数と非整数のスケールファクタの両方で、可逆的なダウンスケーリングの最高性能を達成する。
論文 参考訳(メタデータ) (2022-01-29T12:27:52Z) - Toward Real-world Image Super-resolution via Hardware-based Adaptive
Degradation Models [3.9037347042028254]
ほとんどの単一画像超解像法は、合成低分解能(LR)と高分解能(HR)画像対上で開発されている。
ハードウェアの知識を取り入れた未知の劣化過程をシミュレートする新しい教師付き手法を提案する。
実世界のデータセットを用いた実験により,我々の劣化モデルが所定の劣化操作よりも精度良くLR画像を推定できることが確認された。
論文 参考訳(メタデータ) (2021-10-20T19:53:48Z) - InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
任意の解像度画像を生成するinfinityganを提案する。
少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
論文 参考訳(メタデータ) (2021-04-08T17:59:30Z) - Component Divide-and-Conquer for Real-World Image Super-Resolution [143.24770911629807]
本稿では,DRealSR,DRealSR,および分割コンカレント・コンカレント・スーパー・リゾリューション・ネットワークの大規模画像スーパー・リゾリューション・データセットを提案する。
DRealSRは、さまざまな現実世界の劣化プロセスを備えた新しいSRベンチマークを確立する。
SR に対して Component Divide-and-Conquer (CDC) モデルと Gradient-Weighted (GW) 損失を提案する。
論文 参考訳(メタデータ) (2020-08-05T04:26:26Z) - Joint Generative Learning and Super-Resolution For Real-World
Camera-Screen Degradation [6.14297871633911]
現実世界の単一画像超解像(SISR)タスクでは、低解像度画像はより複雑な劣化に苦しむ。
本稿では,カメラ画面の劣化に着目し,実世界のデータセット(Cam-ScreenSR)を構築する。
まず、ダウンサンプリング劣化GAN(DD-GAN)をトレーニングし、その分解をモデル化し、より多様なLR画像を生成する。
そして、二重残差チャネルアテンションネットワーク(DuRCAN)がSR画像の復元を学習する。
論文 参考訳(メタデータ) (2020-08-01T07:10:13Z) - Benefiting from Bicubically Down-Sampled Images for Learning Real-World
Image Super-Resolution [22.339751911637077]
我々は、この不適切な問題を2つの比較的よく提示されたステップに分割することで、現実世界のSRを扱うことを提案する。
まず、実LR画像を教師付きで双対的にダウンサンプリングされた画像の空間に変換するネットワークを訓練する。
次に,2次元ダウンサンプル画像に基づいて学習した汎用SRネットワークを用いて,変換されたLR画像の超解像を行う。
論文 参考訳(メタデータ) (2020-07-06T20:27:58Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。