論文の概要: Task-Aware Dynamic Transformer for Efficient Arbitrary-Scale Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2408.08736v2
• Date: Sun, 25 Aug 2024 12:00:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 12:52:18.405796
• Title: Task-Aware Dynamic Transformer for Efficient Arbitrary-Scale Image Super-Resolution
• Title（参考訳）: 効率的な任意スケール画像超解像のためのタスク対応動的変換器
• Authors: Tianyi Xu, Yiji Zhou, Xiaotao Hu, Kai Zhang, Anran Zhang, Xingye Qiu, Jun Xu,
• Abstract要約: Arbitrary-scale Super- resolution (ASSR) は、任意の拡大スケールで画像超解像の1つのモデルを学ぶことを目的としている。 既存のASSRネットワークは、通常、既製のスケール非依存の特徴抽出器と任意のスケールアップサンプラーから構成される。 本稿では,効率的な画像ASSRのための入力適応型特徴抽出器として,タスク対応動的変換器(TADT)を提案する。
• 参考スコア（独自算出の注目度）: 8.78015409192613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Arbitrary-scale super-resolution (ASSR) aims to learn a single model for image super-resolution at arbitrary magnifying scales. Existing ASSR networks typically comprise an off-the-shelf scale-agnostic feature extractor and an arbitrary scale upsampler. These feature extractors often use fixed network architectures to address different ASSR inference tasks, each of which is characterized by an input image and an upsampling scale. However, this overlooks the difficulty variance of super-resolution on different inference scenarios, where simple images or small SR scales could be resolved with less computational effort than difficult images or large SR scales. To tackle this difficulty variability, in this paper, we propose a Task-Aware Dynamic Transformer (TADT) as an input-adaptive feature extractor for efficient image ASSR. Our TADT consists of a multi-scale feature extraction backbone built upon groups of Multi-Scale Transformer Blocks (MSTBs) and a Task-Aware Routing Controller (TARC). The TARC predicts the inference paths within feature extraction backbone, specifically selecting MSTBs based on the input images and SR scales. The prediction of inference path is guided by a new loss function to trade-off the SR accuracy and efficiency. Experiments demonstrate that, when working with three popular arbitrary-scale upsamplers, our TADT achieves state-of-the-art ASSR performance when compared with mainstream feature extractors, but with relatively fewer computational costs. The code will be publicly released.
• Abstract（参考訳）: Arbitrary-scale Super- resolution (ASSR) は、任意の拡大スケールで画像超解像の1つのモデルを学ぶことを目的としている。 既存のASSRネットワークは、通常、既製のスケール非依存の特徴抽出器と任意のスケールアップサンプラーから構成される。 これらの特徴抽出器は、しばしば固定ネットワークアーキテクチャを用いて異なるASSR推論タスクに対処し、それぞれが入力画像とアップサンプリングスケールによって特徴付けられる。 しかし、これは、単純な画像や小さなSRスケールが難しい画像や大きなSRスケールよりも少ない計算労力で解決できるような、異なる推論シナリオにおける超解像の難解さを、見落としている。 本稿では,この難易度に対処するため,効率的な画像ASSRのための入力適応型特徴抽出器として,タスク認識動的変換器(TADT)を提案する。 我々のTADTは、マルチスケールトランスフォーマーブロック(MSTB)とタスク認識ルーティングコントローラ(TARC)からなるマルチスケール機能抽出バックボーンで構成されています。 TARCは特徴抽出バックボーン内の推論経路を予測し、特に入力画像とSRスケールに基づいてMSTBを選択する。 推論経路の予測は、SR精度と効率をトレードオフする新しい損失関数によって導かれる。 実験により,3つの一般的な任意のスケールアップサンプラーで作業する場合,TADTは主流の特徴抽出器と比較して最先端のASSR性能を実現するが,計算コストは比較的少ないことがわかった。 コードは公開されます。

関連論文リスト

• PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
  拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。 本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。 我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
  論文  参考訳（メタデータ） (2024-11-26T04:49:42Z)
• Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution [90.16462805389943]
  視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。 提案法は最先端のSR法よりも3倍程度小さい。
  論文  参考訳（メタデータ） (2023-02-27T14:19:31Z)
• Contextual Learning in Fourier Complex Field for VHR Remote Sensing Images [64.84260544255477]
  変圧器を用いたモデルでは、一般解像度(224x224ピクセル)の自然画像から高次文脈関係を学習する優れた可能性を示した そこで本研究では,高次文脈情報のモデル化を行う複雑な自己意識(CSA)機構を提案する。 CSAブロックの様々な層を積み重ねることで、VHR空中画像からグローバルな文脈情報を学習するFourier Complex Transformer(FCT)モデルを提案する。
  論文  参考訳（メタデータ） (2022-10-28T08:13:33Z)
• ITSRN++: Stronger and Better Implicit Transformer Network for Continuous Screen Content Image Super-Resolution [32.441761727608856]
  提案手法は,SCI SR(x3 SRでは0.74dBのSwinIR性能)の最先端性能を実現し,自然画像SRにも有効である。 大規模なSCI2Kデータセットを構築し,SCI SRの研究を容易にする。
  論文  参考訳（メタデータ） (2022-10-17T07:47:34Z)
• Lightweight Stepless Super-Resolution of Remote Sensing Images via Saliency-Aware Dynamic Routing Strategy [15.587621728422414]
  深層学習アルゴリズムは、リモートセンシング画像(RSI)超解像(SR)の性能を大幅に改善した しかし、ネットワークの深さとパラメータの増大は、計算とストレージに大きな負担をもたらす。 本稿では、RSIの軽量でステップレスなSRを実現するために、SalDRN(Saliency-aware dynamic routing network)を提案する。
  論文  参考訳（メタデータ） (2022-10-14T07:49:03Z)
• Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
  Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。 本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
  論文  参考訳（メタデータ） (2022-09-26T22:22:30Z)
• Efficient Long-Range Attention Network for Image Super-resolution [25.51377161557467]
  画像超解像(SR)のための効率的な長距離アテンションネットワーク(ELAN)を提案する。 まず、シフト畳み込み(シフト畳み込み)を用い、1x1畳み込みと同じ複雑さを維持しながら、画像局所構造情報を効果的に抽出する。 その後、GMSAモジュールで2つのシフトコンブをカスケードするだけで、高効率なロングレンジアテンションブロック(ELAB)が構築される。
  論文  参考訳（メタデータ） (2022-03-13T16:17:48Z)
• Scale-Aware Dynamic Network for Continuous-Scale Super-Resolution [16.67263192454279]
  連続的スケールSRのためのSADN(Scale-Aware dynamic network)を提案する。 まず、複数のSRタスクを様々なスケールで特徴学習するためのSAD-Conv層を提案する。 第2に,マルチ双線形局所暗黙関数 (MBLIF) を付加した連続スケールアップサンプリングモジュール (CSUM) を考案した。
  論文  参考訳（メタデータ） (2021-10-29T09:57:48Z)
• SRWarp: Generalized Image Super-Resolution under Arbitrary Transformation [65.88321755969677]
  ディープCNNは、単一の画像超解像を含む画像処理とそのアプリケーションで大きな成功を収めています。 近年のアプローチでは、実測値のアップサンプリング要因にまで範囲を広げている。 任意の画像変換に向けてSRタスクをさらに一般化するSRWarpフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-21T02:50:41Z)
• ASDN: A Deep Convolutional Network for Arbitrary Scale Image Super-Resolution [6.672537252929814]
  画像ビューアアプリケーションは通常、画像を任意の倍率スケールに拡大することができる。 本稿では、ラプラシアンピラミッド法を用いて、高周波画像の詳細を用いて、任意のスケールの高分解能画像(HR)を再構成する。
  論文  参考訳（メタデータ） (2020-10-06T01:18:46Z)
• DDet: Dual-path Dynamic Enhancement Network for Real-World Image Super-Resolution [69.2432352477966]
  実画像超解像(Real-SR)は、実世界の高分解能画像(HR)と低分解能画像(LR)の関係に焦点を当てている。 本稿では,Real-SRのためのデュアルパス動的拡張ネットワーク(DDet)を提案する。 特徴表現のための大規模な畳み込みブロックを積み重ねる従来の手法とは異なり、非一貫性のある画像対を研究するためのコンテンツ認識フレームワークを導入する。
  論文  参考訳（メタデータ） (2020-02-25T18:24:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。