論文の概要: ITSRN++: Stronger and Better Implicit Transformer Network for Continuous Screen Content Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2210.08812v1
• Date: Mon, 17 Oct 2022 07:47:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 21:07:34.383301
• Title: ITSRN++: Stronger and Better Implicit Transformer Network for Continuous Screen Content Image Super-Resolution
• Title（参考訳）: ITSRN++: 連続画面コンテンツ画像スーパーリゾリューションのためのより強く、より優れたインシシデントトランスフォーマーネットワーク
• Authors: Sheng Shen, Huanjing Yue, Jingyu Yang, Kun Li
• Abstract要約: 提案手法は,SCI SR(x3 SRでは0.74dBのSwinIR性能)の最先端性能を実現し,自然画像SRにも有効である。 大規模なSCI2Kデータセットを構築し,SCI SRの研究を容易にする。
• 参考スコア（独自算出の注目度）: 32.441761727608856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Nowadays, online screen sharing and remote cooperation are becoming ubiquitous. However, the screen content may be downsampled and compressed during transmission, while it may be displayed on large screens or the users would zoom in for detail observation at the receiver side. Therefore, developing a strong and effective screen content image (SCI) super-resolution (SR) method is demanded. We observe that the weight-sharing upsampler (such as deconvolution or pixel shuffle) could be harmful to sharp and thin edges in SCIs, and the fixed scale upsampler makes it inflexible to fit screens with various sizes. To solve this problem, we propose an implicit transformer network for continuous SCI SR (termed as ITSRN++). Specifically, we propose a modulation based transformer as the upsampler, which modulates the pixel features in discrete space via a periodic nonlinear function to generate features for continuous pixels. To enhance the extracted features, we further propose an enhanced transformer as the feature extraction backbone, where convolution and attention branches are utilized parallelly. Besides, we construct a large scale SCI2K dataset to facilitate the research on SCI SR. Experimental results on nine datasets demonstrate that the proposed method achieves state-of-the-art performance for SCI SR (outperforming SwinIR by 0.74 dB for x3 SR) and also works well for natural image SR. Our codes and dataset will be released upon the acceptance of this work.
• Abstract（参考訳）: 近年,オンライン画面共有と遠隔協調が普及している。 しかし、送信中に画面の内容がダウンサンプリングされて圧縮される場合があり、大きな画面に表示したり、受信側を詳細に観察するためにズームインしたりできる。 そのため、強力なスクリーンコンテンツ画像(SCI)超解像(SR)法の開発が求められている。 重みの共有アップサンプラー(デコンボリューションやピクセルシャッフルなど)は、ハサミの鋭いエッジや薄いエッジに有害であり、固定サイズのアップサンプラーは様々な大きさのスクリーンにフィットすることができない。 そこで本研究では,連続SCI SR( ITSRN++)のための暗黙トランスフォーマネットワークを提案する。 具体的には,連続画素の特徴を生成するために,周期非線形関数を介して離散空間の画素特徴を変調するアップサンプラーとして変調ベースのトランスを提案する。 抽出した特徴量を高めるため,特徴抽出バックボーンとして,コンボリューションとアテンションブランチを並列に利用する改良されたトランスフォーマーを提案する。 さらに,大規模なSCI2Kデータセットを構築し,SCI SRの研究を容易にする。 9つのデータセットに対する実験結果から,提案手法はSCI SR(x3 SRでは0.74dBのSwinIR性能)の最先端性能を実現し,自然画像SRにも有効であることが示された。 私たちのコードとデータセットは、この作業が受け入れられるとリリースされます。

関連論文リスト

• Task-Aware Dynamic Transformer for Efficient Arbitrary-Scale Image Super-Resolution [8.78015409192613]
  Arbitrary-scale Super- resolution (ASSR) は、任意の拡大スケールで画像超解像の1つのモデルを学ぶことを目的としている。 既存のASSRネットワークは、通常、既製のスケール非依存の特徴抽出器と任意のスケールアップサンプラーから構成される。 本稿では,効率的な画像ASSRのための入力適応型特徴抽出器として,タスク対応動的変換器(TADT)を提案する。
  論文  参考訳（メタデータ） (2024-08-16T13:35:52Z)
• HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution [70.52256118833583]
  変換器ベースSRネットワークを階層変換器(HiT-SR)に変換する戦略を提案する。 具体的には、一般的に使われている固定された小さなウィンドウを階層的なウィンドウに置き換えて、異なるスケールで機能を集約する。 大規模なウィンドウに必要となる計算量を考慮すると、窓の大きさに線形な複雑性を持つ空間チャネル相関法をさらに設計する。
  論文  参考訳（メタデータ） (2024-07-08T12:42:10Z)
• LIPT: Latency-aware Image Processing Transformer [17.802838753201385]
  LIPTと呼ばれる遅延対応画像処理変換器を提案する。 我々は、メモリ集約演算子の代わりに自己注意と畳み込みを組み合わせた低レイテンシ比LIPTブロックを考案し、実用的な高速化を実現する。
  論文  参考訳（メタデータ） (2024-04-09T07:25:30Z)
• Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
  画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。 DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。 我々のDATは現在の手法を超越している。
  論文  参考訳（メタデータ） (2023-08-07T07:39:39Z)
• Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution [90.16462805389943]
  視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。 提案法は最先端のSR法よりも3倍程度小さい。
  論文  参考訳（メタデータ） (2023-02-27T14:19:31Z)
• Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images [64.84260544255477]
  変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。 CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:13:33Z)
• Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
  畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。 SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
  論文  参考訳（メタデータ） (2022-03-16T20:10:41Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Implicit Transformer Network for Screen Content Image Continuous Super-Resolution [27.28782217250359]
  高分解能(HR)スクリーンの内容は、ダウンサンプリングされ圧縮されることがある。 低解像度(LR)画面コンテンツ画像(SCI)の超解像度(SR)は、HRディスプレイやユーザが詳細な観察のためにズームインするように要求される。 本稿では,SCISRのための新しいImplicit Transformer Super-Resolution Network(ITSRN)を提案する。
  論文  参考訳（メタデータ） (2021-12-12T07:39:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。