論文の概要: Multi-Scale Implicit Transformer with Re-parameterize for
Arbitrary-Scale Super-Resolution
- arxiv url: http://arxiv.org/abs/2403.06536v1
- Date: Mon, 11 Mar 2024 09:23:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:43:24.462775
- Title: Multi-Scale Implicit Transformer with Re-parameterize for
Arbitrary-Scale Super-Resolution
- Title（参考訳）: 任意スケール超解像用マルチスケールインプリシット変圧器の再パラメータ化
- Authors: Jinchen Zhu, Mingjian Zhang, Ling Zheng, Shizhuang Weng
- Abstract要約: マルチスケールインプリシットトランス(MSIT)
MSITは、MSNO(Multi-scale Neural Operator)とMSSA(Multi-scale Self-Attention)から構成される。
- 参考スコア（独自算出の注目度）: 2.4865475189445405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, the methods based on implicit neural representations have shown
excellent capabilities for arbitrary-scale super-resolution (ASSR). Although
these methods represent the features of an image by generating latent codes,
these latent codes are difficult to adapt for different magnification factors
of super-resolution, which seriously affects their performance. Addressing
this, we design Multi-Scale Implicit Transformer (MSIT), consisting of an
Multi-scale Neural Operator (MSNO) and Multi-Scale Self-Attention (MSSA). Among
them, MSNO obtains multi-scale latent codes through feature enhancement,
multi-scale characteristics extraction, and multi-scale characteristics
merging. MSSA further enhances the multi-scale characteristics of latent codes,
resulting in better performance. Furthermore, to improve the performance of
network, we propose the Re-Interaction Module (RIM) combined with the
cumulative training strategy to improve the diversity of learned information
for the network. We have systematically introduced multi-scale characteristics
for the first time in ASSR, extensive experiments are performed to validate the
effectiveness of MSIT, and our method achieves state-of-the-art performance in
arbitrary super-resolution tasks.
- Abstract（参考訳）: 近年,暗黙的ニューラル表現に基づく手法は,任意のスケール超解像(ASSR)に優れた性能を示した。
これらの手法は潜伏符号を生成することで画像の特徴を表現するが、超解像の異なる拡大係数に適応することは困難であり、その性能に深刻な影響を及ぼす。
そこで我々は,MSNO(Multi-scale Neural Operator)とMSSA(Multi-scale Self-Attention)を組み合わせたMSIT(Multi-Scale Implicit Transformer)を設計した。
中でもMSNOは,特徴強調,マルチスケール特性抽出,マルチスケール特性マージによるマルチスケール潜在符号を得る。
MSSAは遅延符号のマルチスケール特性をさらに強化し、性能が向上する。
さらに,ネットワークの性能向上のために,ネットワークの学習情報の多様性を向上させるための累積学習戦略と組み合わせたRe-Interaction Module (RIM)を提案する。
提案手法は,asrで初めてマルチスケール特性を導入し,msitの有効性を検証するための広範な実験を行い,任意の超解像タスクにおいて最先端の性能を実現する。
関連論文リスト
- MAT: Multi-Range Attention Transformer for Efficient Image Super-Resolution [14.265237560766268]
多様な空間範囲にわたる注意の柔軟な統合は、大幅なパフォーマンス向上をもたらす可能性がある。
スーパーレゾリューション(SR)タスクに適したマルチランジアテンショントランス(MAT)を提案する。
MATは、様々な空間範囲にまたがる依存関係を包含し、その特徴表現の多様性と有効性を向上させる。
論文 参考訳（メタデータ） (2024-11-26T08:30:31Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Multi-scale Unified Network for Image Classification [33.560003528712414]
CNNは、実世界のマルチスケール画像入力を扱う際に、性能と計算効率において顕著な課題に直面している。
本稿では,マルチスケール,統一ネットワーク,スケール不変制約からなるMultiscale Unified Network(MUSN)を提案する。
MUSNは精度が44.53%向上し、マルチスケールシナリオではFLOPを7.01-16.13%減少させる。
論文 参考訳（メタデータ） (2024-03-27T06:40:26Z) - Spatially-Adaptive Feature Modulation for Efficient Image
Super-Resolution [90.16462805389943]
視覚変換器(ViT)のようなブロック上に,空間適応型特徴変調(SAFM)機構を開発する。
提案法は最先端のSR法よりも3倍程度小さい。
論文 参考訳（メタデータ） (2023-02-27T14:19:31Z) - Transformer-empowered Multi-scale Contextual Matching and Aggregation
for Multi-contrast MRI Super-resolution [55.52779466954026]
マルチコントラスト・スーパーレゾリューション (SR) 再構成により, SR画像の高画質化が期待できる。
既存の手法では、これらの特徴をマッチングし、融合させる効果的なメカニズムが欠如している。
そこで本稿では,トランスフォーマーを利用したマルチスケールコンテキストマッチングとアグリゲーション技術を開発することで,これらの問題を解決する新しいネットワークを提案する。
論文 参考訳（メタデータ） (2022-03-26T01:42:59Z) - Multi-scale and Cross-scale Contrastive Learning for Semantic
Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。
まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文 参考訳（メタデータ） (2022-03-25T01:24:24Z) - Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。
我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。
提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
論文 参考訳（メタデータ） (2022-03-15T06:52:25Z) - Deep Iterative Residual Convolutional Network for Single Image
Super-Resolution [31.934084942626257]
我々は、ISRResCNet(Deep Iterative Super-Resolution Residual Convolutional Network)を提案する。
残差学習アプローチを用いて、深層ネットワークを反復的に訓練することにより、強力な画像正規化と大規模最適化手法を活用する。
トレーニング可能なパラメータがいくつかある本手法は,最先端の手法と比較して,異なるスケーリング要因に対する結果を改善する。
論文 参考訳（メタデータ） (2020-09-07T12:54:14Z) - Sequential Hierarchical Learning with Distribution Transformation for
Image Super-Resolution [83.70890515772456]
画像SRのための逐次階層学習型超解像ネットワーク(SHSR)を構築した。
特徴のスケール間相関を考察し、階層的情報を段階的に探索するシーケンシャルなマルチスケールブロック(SMB)を考案する。
実験結果から,SHSRは最先端手法に優れた定量的性能と視覚的品質が得られることが示された。
論文 参考訳（メタデータ） (2020-07-19T01:35:53Z) - Learning Enriched Features for Real Image Restoration and Enhancement [166.17296369600774]
畳み込みニューラルネットワーク(CNN)は、画像復元作業における従来のアプローチよりも劇的に改善されている。
ネットワーク全体を通して空間的精度の高い高解像度表現を維持することを目的とした,新しいアーキテクチャを提案する。
提案手法は,高解像度の空間的詳細を同時に保存しながら,複数のスケールからの文脈情報を組み合わせた豊富な特徴集合を学習する。
論文 参考訳（メタデータ） (2020-03-15T11:04:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。