論文の概要: Learning Texture Transformer Network for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2006.04139v2
• Date: Mon, 22 Jun 2020 12:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-24 08:13:13.071051
• Title: Learning Texture Transformer Network for Image Super-Resolution
• Title（参考訳）: 画像超解像のための学習テクスチャ変換ネットワーク
• Authors: Fuzhi Yang, Huan Yang, Jianlong Fu, Hongtao Lu, Baining Guo
• Abstract要約: 画像超解像のためのテクスチュアトランスフォーマネットワーク(TTSR)を提案する。 TTSRは画像生成タスクに最適化された4つの近縁なモジュールで構成されている。 TTSRは、定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 47.86443447491344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study on image super-resolution (SR), which aims to recover realistic textures from a low-resolution (LR) image. Recent progress has been made by taking high-resolution images as references (Ref), so that relevant textures can be transferred to LR images. However, existing SR approaches neglect to use attention mechanisms to transfer high-resolution (HR) textures from Ref images, which limits these approaches in challenging cases. In this paper, we propose a novel Texture Transformer Network for Image Super-Resolution (TTSR), in which the LR and Ref images are formulated as queries and keys in a transformer, respectively. TTSR consists of four closely-related modules optimized for image generation tasks, including a learnable texture extractor by DNN, a relevance embedding module, a hard-attention module for texture transfer, and a soft-attention module for texture synthesis. Such a design encourages joint feature learning across LR and Ref images, in which deep feature correspondences can be discovered by attention, and thus accurate texture features can be transferred. The proposed texture transformer can be further stacked in a cross-scale way, which enables texture recovery from different levels (e.g., from 1x to 4x magnification). Extensive experiments show that TTSR achieves significant improvements over state-of-the-art approaches on both quantitative and qualitative evaluations.
• Abstract（参考訳）: 低解像度(LR)画像から現実的なテクスチャを復元することを目的とした画像超解像(SR)について検討する。 近年の進歩は、高解像度画像を参照として(Ref)、関連するテクスチャをLR画像に転送することで実現されている。 しかし、既存のsrアプローチは高分解能(hr)テクスチャをref画像から転送するために注意機構の使用を怠り、困難なケースではこれらのアプローチを制限している。 本稿では,lr画像とref画像をそれぞれクエリとキーとして定式化した,画像超解像用テクスチャトランスフォーマーネットワーク(ttsr)を提案する。 TTSRは、DNNによる学習可能なテクスチャ抽出器、関連埋め込みモジュール、テクスチャ転送のためのハードアテンションモジュール、テクスチャ合成のためのソフトアテンションモジュールを含む、画像生成タスクに最適化された4つの密接に関連するモジュールで構成されている。 このような設計により、LRおよびRef画像間の共同特徴学習が促進され、深い特徴対応が注意によって発見され、正確なテクスチャ特徴が伝達される。 提案したテクスチャトランスは、異なるレベル(例えば、1倍から4倍)からテクスチャリカバリが可能な、クロススケールな方法でさらに積み重ねることができる。 大規模な実験により、TTSRは定量評価と定性評価の両方において最先端のアプローチよりも大幅に改善されていることが示された。

関連論文リスト

• Image Reconstruction using Enhanced Vision Transformer [0.08594140167290097]
  画像のデノイング,デブロアリング,インペイントといったタスクに使用できる新しい画像再構成フレームワークを提案する。 このプロジェクトで提案されるモデルは、2次元画像を入力として取り込んで埋め込みを出力するビジョントランスフォーマー(ViT)に基づいている。 モデル再構築機能を改善するために,フレームワークに4つの最適化手法を組み込んだ。
  論文  参考訳（メタデータ） (2023-07-11T02:14:18Z)
• A Feature Reuse Framework with Texture-adaptive Aggregation for Reference-based Super-Resolution [29.57364804554312]
  参照ベース超解像(RefSR)は超解像の分野で大きな成功を収めている。 本稿では,ステップバイステップのテクスチャ再構築プロセスをガイドする機能再利用フレームワークを提案する。 単一画像特徴埋め込みモジュールとテクスチャ適応アグリゲーションモジュールを導入する。
  論文  参考訳（メタデータ） (2023-06-02T12:49:22Z)
• Super-Resolution of License Plate Images Using Attention Modules and Sub-Pixel Convolution Layers [3.8831062015253055]
  監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。 提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。 以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-27T00:17:19Z)
• Bridging Component Learning with Degradation Modelling for Blind Image Super-Resolution [69.11604249813304]
  視覚障害者のためのコンポーネント分解・協調最適化ネットワーク(CDCN)を提案する。 CDCNは入力LR画像を特徴空間の構造と詳細成分に分解する。 本稿では,HR画像の細部と構造復元過程を協調的に監督する,劣化駆動型学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-03T14:53:56Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• RRSR:Reciprocal Reference-based Image Super-Resolution with Progressive Feature Alignment and Selection [66.08293086254851]
  本稿では,RefSRネットワークの学習を強化するための相互学習フレームワークを提案する。 新たに提案したモジュールは,マルチスケールの特徴空間に参照入力画像をアライメントし,参照認識機能の選択を行う。 我々は,最近のRefSRモデルが相互学習パラダイムによって一貫した改善が可能であることを実証的に示す。
  論文  参考訳（メタデータ） (2022-11-08T12:39:35Z)
• Reference-based Image Super-Resolution with Deformable Attention Transformer [62.71769634254654]
  RefSRは、補助参照(Ref)画像を超解像低解像度(LR)画像に活用することを目的としている。 本稿では,複数のスケールを持つ変形可能なアテンション変換器,すなわちDATSRを提案する。 DATSRがベンチマークデータセット上で最先端のパフォーマンスを達成することを示す実験を行った。
  論文  参考訳（メタデータ） (2022-07-25T07:07:00Z)
• Rethinking Super-Resolution as Text-Guided Details Generation [21.695227836312835]
  テキストと画像のモダリティからの情報を有効に活用できるテキストガイド型超解法(TGSR)フレームワークを提案する。 提案したTGSRは、粗い処理によってテキスト記述と一致するHR画像の詳細を生成することができる。
  論文  参考訳（メタデータ） (2022-07-14T01:46:38Z)
• MASA-SR: Matching Acceleration and Spatial Adaptation for Reference-Based Image Super-Resolution [74.24676600271253]
  本稿では、RefSRのためのMASAネットワークを提案し、これらの問題に対処するために2つの新しいモジュールを設計する。 提案したMatch & extract Moduleは、粗大な対応マッチング方式により計算コストを大幅に削減する。 空間適応モジュールは、LR画像とRef画像の分布の差を学習し、Ref特徴の分布を空間適応的にLR特徴の分布に再マップする。
  論文  参考訳（メタデータ） (2021-06-04T07:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。