論文の概要: Learning Dual-Level Deformable Implicit Representation for Real-World Scale Arbitrary Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.10925v1
- Date: Sat, 16 Mar 2024 13:44:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 21:06:03.148747
- Title: Learning Dual-Level Deformable Implicit Representation for Real-World Scale Arbitrary Super-Resolution
- Title（参考訳）: 実世界規模任意超解法のためのデュアルレベル変形型命令表現の学習
- Authors: Zhiheng Li, Muheng Li, Jixuan Fan, Lei Chen, Yansong Tang, Jie Zhou, Jiwen Lu,
- Abstract要約: 実世界の任意の超解像のトレーニングと評価のために,整数と非整数のスケーリング因子を併用した新しい実世界の超解像ベンチマークを構築した。
具体的には,実世界の劣化による画像レベルの変形と画素レベルの変形の両方を扱うために,外観埋め込みと変形場を設計する。
実世界の任意の超解像のためのRealArbiSRおよびRealSRベンチマークの最先端性能を実現する。
- 参考スコア（独自算出の注目度）: 81.74583887661794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scale arbitrary super-resolution based on implicit image function gains increasing popularity since it can better represent the visual world in a continuous manner. However, existing scale arbitrary works are trained and evaluated on simulated datasets, where low-resolution images are generated from their ground truths by the simplest bicubic downsampling. These models exhibit limited generalization to real-world scenarios due to the greater complexity of real-world degradations. To address this issue, we build a RealArbiSR dataset, a new real-world super-resolution benchmark with both integer and non-integer scaling factors for the training and evaluation of real-world scale arbitrary super-resolution. Moreover, we propose a Dual-level Deformable Implicit Representation (DDIR) to solve real-world scale arbitrary super-resolution. Specifically, we design the appearance embedding and deformation field to handle both image-level and pixel-level deformations caused by real-world degradations. The appearance embedding models the characteristics of low-resolution inputs to deal with photometric variations at different scales, and the pixel-based deformation field learns RGB differences which result from the deviations between the real-world and simulated degradations at arbitrary coordinates. Extensive experiments show our trained model achieves state-of-the-art performance on the RealArbiSR and RealSR benchmarks for real-world scale arbitrary super-resolution. Our dataset as well as source code will be publicly available.
- Abstract（参考訳）: 暗黙のイメージ関数に基づく任意の超解像は、連続的に視覚世界を表現できるため、人気が高まる。
しかし、既存のスケールの任意の作業は、シミュレーションデータセットに基づいて訓練され、評価され、そこでは、最も単純なバイコビックなダウンサンプリングによって、地上の真実から低解像度の画像が生成される。
これらのモデルは、現実世界の劣化の複雑さが大きいため、現実のシナリオへの限定的な一般化を示す。
この問題に対処するため、我々はRealArbiSRデータセットを構築した。これは、実世界の任意の超分解能のトレーニングと評価のための整数および非整数スケーリング要素を備えた新しい実世界の超分解能ベンチマークである。
さらに、実世界の任意の超解像を解くために、Dual-level Deformable Implicit Representation (DDIR)を提案する。
具体的には,実世界の劣化による画像レベルの変形と画素レベルの変形の両方を扱うために,外観埋め込みと変形場を設計する。
外観埋め込みは、異なるスケールでの測光変動を扱うための低解像度入力の特性をモデル化し、画素ベースの変形場は、実世界と任意の座標でのシミュレーション劣化のずれから生じるRGB差を学習する。
大規模な実験により,実世界の任意の超解像のためのRealArbiSRおよびRealSRベンチマークの最先端性能が得られた。
当社のデータセットとソースコードは公開されます。
関連論文リスト
- $\text{S}^{3}$Mamba: Arbitrary-Scale Super-Resolution via Scaleable State Space Model [45.65903826290642]
ASSRは、1つのモデルを用いて、任意のスケールで低解像度画像を高解像度画像に超解き放つことを目的としている。
拡張性のある連続表現空間を構築するために,$textS3$Mambaと呼ばれる新しい任意のスケール超解法を提案する。
論文 参考訳（メタデータ） (2024-11-16T11:13:02Z) - Enhanced Super-Resolution Training via Mimicked Alignment for Real-World Scenes [51.92255321684027]
トレーニング中、LR入力とHR画像の整列により、誤調整問題を緩和する新しいプラグアンドプレイモジュールを提案する。
具体的には,従来のLR試料の特徴を保ちながらHRと整合する新しいLR試料を模倣する。
本手法を合成および実世界のデータセット上で総合的に評価し,SRモデルのスペクトル間での有効性を実証した。
論文 参考訳（メタデータ） (2024-10-07T18:18:54Z) - Pairwise Distance Distillation for Unsupervised Real-World Image Super-Resolution [38.79439380482431]
実世界の超解像(RWSR)は低分解能入力における未知の劣化に直面している。
既存の手法では、学習インプットの複雑な合成拡張を通じて視覚一般モデルを学習することでこの問題にアプローチする。
実世界の劣化に対する教師なしRWSRに対処するための,新しい相互距離蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-10T01:46:40Z) - Towards Realistic Data Generation for Real-World Super-Resolution [58.88039242455039]
RealDGenは、現実世界の超解像のために設計された教師なし学習データ生成フレームワークである。
我々は,コンテンツ分解脱結合拡散モデルに統合されたコンテンツと劣化抽出戦略を開発する。
実験により、RealDGenは、現実世界の劣化を反映する大規模で高品質なペアデータを生成するのに優れていることが示された。
論文 参考訳（メタデータ） (2024-06-11T13:34:57Z) - Towards Real-World Burst Image Super-Resolution: Benchmark and Method [93.73429028287038]
本稿では,複数のフレームから画像の詳細を忠実に再構成する大規模リアルタイムバースト超解像データセットであるRealBSRを確立する。
また,FBAnet(Federated Burst Affinity Network)を導入し,実世界の画像劣化下での画像間の非自明な画素幅の変位について検討する。
論文 参考訳（メタデータ） (2023-09-09T14:11:37Z) - Any-resolution Training for High-resolution Image Synthesis [55.19874755679901]
生成モデルは、様々な大きさの自然画像であっても、一定の解像度で動作します。
すべてのピクセルが重要であり、そのネイティブ解像度で収集された可変サイズのイメージを持つデータセットを作成する、と我々は主張する。
ランダムなスケールでパッチをサンプリングし、可変出力解像度で新しいジェネレータを訓練するプロセスである。
論文 参考訳（メタデータ） (2022-04-14T17:59:31Z) - Scale-arbitrary Invertible Image Downscaling [17.67415618760949]
本稿では,任意のスケールファクタを持つHR画像のダウンスケールを実現するために,AIDN(Scale-Arbitrary Invertible Image Downscaling Network)を提案する。
我々のAIDNは、任意の整数と非整数のスケールファクタの両方で、可逆的なダウンスケーリングの最高性能を達成する。
論文 参考訳（メタデータ） (2022-01-29T12:27:52Z) - Benefiting from Bicubically Down-Sampled Images for Learning Real-World
Image Super-Resolution [22.339751911637077]
我々は、この不適切な問題を2つの比較的よく提示されたステップに分割することで、現実世界のSRを扱うことを提案する。
まず、実LR画像を教師付きで双対的にダウンサンプリングされた画像の空間に変換するネットワークを訓練する。
次に,2次元ダウンサンプル画像に基づいて学習した汎用SRネットワークを用いて,変換されたLR画像の超解像を行う。
論文 参考訳（メタデータ） (2020-07-06T20:27:58Z) - PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of
Generative Models [77.32079593577821]
PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。
本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-08T16:44:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。