論文の概要: OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer

• arxiv url: http://arxiv.org/abs/2302.03453v2
• Date: Thu, 9 Feb 2023 10:45:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-10 11:59:53.292561
• Title: OSRT: Omnidirectional Image Super-Resolution with Distortion-aware Transformer
• Title（参考訳）: OSRT:歪み認識変換器を用いた全方位画像超解像
• Authors: Fanghua Yu, Xintao Wang, Mingdeng Cao, Gen Li, Ying Shan, Chao Dong
• Abstract要約: 従来手法では、等方射影(ERP)画像上の画像超解像(SR)を用いてこの問題を解こうとしていた。 そこで本研究では,実際の画像処理を模倣し,より現実的な低分解能試料を合成する魚眼下サンプルを提案する。 また、疑似ERP画像を平易な画像から合成する便利なデータ拡張戦略を提案する。
• 参考スコア（独自算出の注目度）: 28.53390467642499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Omnidirectional images (ODIs) have obtained lots of research interest for immersive experiences. Although ODIs require extremely high resolution to capture details of the entire scene, the resolutions of most ODIs are insufficient. Previous methods attempt to solve this issue by image super-resolution (SR) on equirectangular projection (ERP) images. However, they omit geometric properties of ERP in the degradation process, and their models can hardly generalize to real ERP images. In this paper, we propose Fisheye downsampling, which mimics the real-world imaging process and synthesizes more realistic low-resolution samples. Then we design a distortion-aware Transformer (OSRT) to modulate ERP distortions continuously and self-adaptively. Without a cumbersome process, OSRT outperforms previous methods by about 0.2dB on PSNR. Moreover, we propose a convenient data augmentation strategy, which synthesizes pseudo ERP images from plain images. This simple strategy can alleviate the over-fitting problem of large networks and significantly boost the performance of ODISR. Extensive experiments have demonstrated the state-of-the-art performance of our OSRT. Codes and models will be available at https://github.com/Fanghua-Yu/OSRT.
• Abstract（参考訳）: ODI(Omnidirectional Image)は没入感のある体験に多くの研究関心を集めている。 ODIはシーン全体の詳細を捉えるのに非常に高解像度を必要とするが、ほとんどのODIの解像度は不十分である。 従来の方法では、等方射影(ERP)画像上の画像超解像(SR)を用いてこの問題を解決する。 しかし、分解過程におけるERPの幾何学的性質を省略し、それらのモデルは実際のERP画像にはほとんど一般化できない。 本稿では,実世界の撮像過程を模倣し,より現実的な低解像度サンプルを合成する魚眼ダウンサンプリングを提案する。 次に、ERP歪みを連続的かつ自己適応的に変調する歪み対応変換器(OSRT)を設計する。 煩雑なプロセスがなければ、OSRTはPSNRで約0.2dBの従来の手法より性能が良い。 さらに,疑似ERP画像を平易な画像から合成する便利なデータ拡張戦略を提案する。 この単純な戦略は、大規模ネットワークの過度に適合する問題を緩和し、ODISRの性能を大幅に向上させることができる。 大規模な実験により,OSRTの最先端性能が実証された。 コードとモデルはhttps://github.com/Fanghua-Yu/OSRTで入手できる。

関連論文リスト

• Geometric Distortion Guided Transformer for Omnidirectional Image Super-Resolution [26.819508321968108]
  GDGT-OSR (Geometric Distortion Guided Transformer for Omdirectional Image Super-Resolution) について紹介する。 具体的には、変形可能な自己アテンションと統合された歪変調矩形ウィンドウ自己アテンション機構を提案し、歪みをよりよく知覚する。 新たなGDGT-OSRは既存の文献の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-16T09:38:33Z)
• Hierarchical Similarity Learning for Aliasing Suppression Image Super-Resolution [64.15915577164894]
  エイリアスの影響を抑制するために階層画像超解像ネットワーク(HSRNet)を提案する。 HSRNetは、他の作品よりも定量的かつ視覚的なパフォーマンスを向上し、エイリアスをより効果的に再送信する。
  論文  参考訳（メタデータ） (2022-06-07T14:55:32Z)
• Lightweight Bimodal Network for Single-Image Super-Resolution via Symmetric CNN and Recursive Transformer [27.51790638626891]
  シングルイメージ・スーパーレゾリューション(SISR)は、ディープラーニングの開発において大きなブレークスルーを達成している。 そこで本研究では,SISRのための軽量バイモーダルネットワーク(LBNet)を提案する。 具体的には,局所特徴抽出と粗い画像再構成に有効なシンメトリCNNを設計する。
  論文  参考訳（メタデータ） (2022-04-28T04:43:22Z)
• Efficient and Degradation-Adaptive Network for Real-World Image Super-Resolution [28.00231586840797]
  実世界の画像超解像(Real-ISR)は、実世界の画像の未知の複雑な劣化のために難しい課題である。 近年のReal-ISRの研究は、画像劣化空間をモデル化することによって大きな進歩を遂げている。 本稿では,各入力画像の劣化を推定してパラメータを適応的に指定する,効率的な劣化適応型超解像ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-27T05:59:13Z)
• Toward Real-world Image Super-resolution via Hardware-based Adaptive Degradation Models [3.9037347042028254]
  ほとんどの単一画像超解像法は、合成低分解能(LR)と高分解能(HR)画像対上で開発されている。 ハードウェアの知識を取り入れた未知の劣化過程をシミュレートする新しい教師付き手法を提案する。 実世界のデータセットを用いた実験により,我々の劣化モデルが所定の劣化操作よりも精度良くLR画像を推定できることが確認された。
  論文  参考訳（メタデータ） (2021-10-20T19:53:48Z)
• LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond [75.37541439447314]
  単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。 本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
  論文  参考訳（メタデータ） (2021-05-21T15:47:18Z)
• SRWarp: Generalized Image Super-Resolution under Arbitrary Transformation [65.88321755969677]
  ディープCNNは、単一の画像超解像を含む画像処理とそのアプリケーションで大きな成功を収めています。 近年のアプローチでは、実測値のアップサンプリング要因にまで範囲を広げている。 任意の画像変換に向けてSRタスクをさらに一般化するSRWarpフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-21T02:50:41Z)
• Best-Buddy GANs for Highly Detailed Image Super-Resolution [71.13466303340192]
  我々は,低分解能(LR)入力に基づいて高分解能(HR)画像を生成する単一画像超解像(SISR)問題を考える。 このラインに沿ったほとんどのメソッドは、SISRタスクに十分な柔軟性がない、事前定義されたシングルLRシングルHRマッピングに依存しています。 リッチディテールSISRのためのベストバディGAN(Beby-GAN)を提案する。 イミュータブルな1対1の制約を緩和することで、推定されたパッチを動的に最高の監視を求めることができる。
  論文  参考訳（メタデータ） (2021-03-29T02:58:27Z)
• Designing a Practical Degradation Model for Deep Blind Image Super-Resolution [134.9023380383406]
  単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。 本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
  論文  参考訳（メタデータ） (2021-03-25T17:40:53Z)
• Deep Generative Adversarial Residual Convolutional Networks for Real-World Super-Resolution [31.934084942626257]
  我々は,超解像残差畳み込み生成共役ネットワーク(SRResCGAN)を提案する。 これは、生成したLRドメインからHRドメインの画素単位の監督でモデルを逆トレーニングすることで、現実世界の劣化設定に従う。 提案するネットワークは,画像の高精細化と凸最適化によるエネルギーベース目的関数の最小化により,残差学習を利用する。
  論文  参考訳（メタデータ） (2020-05-03T00:12:38Z)
• PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models [77.32079593577821]
  PULSE (Photo Upsampling via Latent Space Exploration) は、それまで文献になかった解像度で高解像度でリアルな画像を生成する。 本手法は, 従来よりも高分解能, スケールファクターの知覚品質において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-08T16:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。