論文の概要: Efficient Attention-Sharing Information Distillation Transformer for Lightweight Single Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2501.15774v2
• Date: Tue, 04 Feb 2025 03:24:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:54:39.061903
• Title: Efficient Attention-Sharing Information Distillation Transformer for Lightweight Single Image Super-Resolution
• Title（参考訳）: 軽量単一画像超解像用高効率アテンション共有情報蒸留変換器
• Authors: Karam Park, Jae Woong Soh, Nam Ik Cho,
• Abstract要約: Transformer-based Super-Resolution (SR) 法は畳み込みニューラルネットワーク (CNN) 法に比べて優れた性能を示した。 本稿では,トランスフォーマーを用いたSR方式に特化して設計された,アテンション共有と情報蒸留構造を統合した軽量SRネットワークを提案する。
• 参考スコア（独自算出の注目度）: 23.265907475054156
• License:
• Abstract: Transformer-based Super-Resolution (SR) methods have demonstrated superior performance compared to convolutional neural network (CNN)-based SR approaches due to their capability to capture long-range dependencies. However, their high computational complexity necessitates the development of lightweight approaches for practical use. To address this challenge, we propose the Attention-Sharing Information Distillation (ASID) network, a lightweight SR network that integrates attention-sharing and an information distillation structure specifically designed for Transformer-based SR methods. We modify the information distillation scheme, originally designed for efficient CNN operations, to reduce the computational load of stacked self-attention layers, effectively addressing the efficiency bottleneck. Additionally, we introduce attention-sharing across blocks to further minimize the computational cost of self-attention operations. By combining these strategies, ASID achieves competitive performance with existing SR methods while requiring only around 300K parameters - significantly fewer than existing CNN-based and Transformer-based SR models. Furthermore, ASID outperforms state-of-the-art SR methods when the number of parameters is matched, demonstrating its efficiency and effectiveness. The code and supplementary material are available on the project page.
• Abstract（参考訳）: Transformer-based Super-Resolution (SR)メソッドは、長距離依存関係をキャプチャする能力のため、畳み込みニューラルネットワーク(CNN)ベースのSRアプローチよりも優れたパフォーマンスを示している。 しかし、その高い計算複雑性は、実用化のための軽量なアプローチの開発を必要とする。 この課題に対処するために,アテンション共有情報蒸留(ASID)ネットワーク,アテンション共有を統合した軽量SRネットワーク,およびトランスフォーマーベースのSR手法に特化して設計された情報蒸留構造を提案する。 我々は,CNNの効率的な処理のために設計された情報蒸留方式を改良し,蓄積した自己注意層の計算負荷を低減し,効率のボトルネックに効果的に対処する。 さらに,自己注意操作の計算コストを抑えるため,ブロック間での注意共有も導入する。 これらの戦略を組み合わせることで、ASIDは既存のSRメソッドと競合し、300Kのパラメータしか必要とせず、既存のCNNベースのSRモデルやTransformerベースのSRモデルよりも大幅に少ない性能を実現している。 さらに、ASIDはパラメータ数が一致したときに最先端のSR手法よりも優れ、その効率と有効性を示す。 コードと補足資料はプロジェクトページで公開されている。

関連論文リスト

• Efficient Single Image Super-Resolution with Entropy Attention and Receptive Field Augmentation [34.50541063621832]
  本稿では,新しいエントロピーアテンション(EA)とシフトする大きなカーネルアテンション(SLKA)からなる,効率的な単一画像超解像(SISR)モデルを提案する。 EAはガウス分布で条件付けられた中間特徴のエントロピーを増大させ、その後の推論に対してより情報的な入力を提供する。 SLKAは、チャネルシフトの助けを借りてSRモデルの受容領域を拡張し、階層的特徴の多様性を高めることを好む。
  論文  参考訳（メタデータ） (2024-08-08T02:03:10Z)
• HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution [70.52256118833583]
  変換器ベースSRネットワークを階層変換器(HiT-SR)に変換する戦略を提案する。 具体的には、一般的に使われている固定された小さなウィンドウを階層的なウィンドウに置き換えて、異なるスケールで機能を集約する。 大規模なウィンドウに必要となる計算量を考慮すると、窓の大きさに線形な複雑性を持つ空間チャネル相関法をさらに設計する。
  論文  参考訳（メタデータ） (2024-07-08T12:42:10Z)
• Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
  本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。 CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。 CFSRは計算コストと性能のバランスが最適であることを示す実験である。
  論文  参考訳（メタデータ） (2024-01-11T03:08:00Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• A Dynamic Residual Self-Attention Network for Lightweight Single Image Super-Resolution [17.094665593472214]
  軽量単一像超解像(SISR)のための動的残像自己アテンションネットワーク(DRSAN)を提案する。 DRSANは動的残留注意(DRA)に基づく動的残留接続を持ち、入力統計に基づいてその構造を適応的に変化させる。 また,余剰自己アテンション(RSA)モジュールも提案し,付加パラメータを伴わずに3次元のアテンションマップを生成する。
  論文  参考訳（メタデータ） (2021-12-08T06:41:21Z)
• Local-Selective Feature Distillation for Single Image Super-Resolution [42.83228585332463]
  単一画像超解像(SISR)に適した新しい特徴蒸留法(FD)を提案する。 本稿では, SISRタスクに苦しむ既存のFitNetベースのFD手法の限界を示すとともに, ローカルな特徴情報に焦点を合わせるために既存のFDアルゴリズムを変更することを提案する。 提案手法をLSFDと呼び,従来のFD法よりもSISR法の方が優れていることを確認した。
  論文  参考訳（メタデータ） (2021-11-22T05:05:37Z)
• Residual Feature Distillation Network for Lightweight Image Super-Resolution [40.52635571871426]
  残像蒸留ネットワーク(RFDN)と呼ばれる軽量かつ高精度なSISRモデルを提案する。 RFDNは複数の特徴蒸留接続を用いてより識別的な特徴表現を学習する。 また、RFDNの主ビルディングブロックとして浅層残差ブロック(SRB)を提案し、ネットワークが残差学習の恩恵を受けることができるようにした。
  論文  参考訳（メタデータ） (2020-09-24T08:46:40Z)
• Lightweight image super-resolution with enhanced CNN [82.36883027158308]
  強い表現力を持つ深部畳み込みニューラルネットワーク(CNN)は、単一画像超解像(SISR)において印象的な性能を達成した 情報抽出・拡張ブロック(IEEB)、再構築ブロック(RB)、情報精製ブロック(IRB)の3つの連続したサブブロックを持つ軽量拡張SR CNN(LESRCNN)を提案する。 IEEBは階層的低分解能(LR)特徴を抽出し、SISRの深い層上の浅い層の記憶能力を高めるために、得られた特徴を段階的に集約する。 RBはグローバルに拡散することで低周波特徴を高周波特徴に変換する
  論文  参考訳（メタデータ） (2020-07-08T18:03:40Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。