論文の概要: Accelerating Image Super-Resolution Networks with Pixel-Level Classification
- arxiv url: http://arxiv.org/abs/2407.21448v1
- Date: Wed, 31 Jul 2024 08:53:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 18:22:17.976124
- Title: Accelerating Image Super-Resolution Networks with Pixel-Level Classification
- Title（参考訳）: 画素レベル分類による画像超解像ネットワークの高速化
- Authors: Jinho Jeong, Jinwoo Kim, Younghyun Jo, Seon Joo Kim,
- Abstract要約: Pixel-level for Single Image SuperResolutionは、ピクセルレベルで計算資源を適応的に分配する新しい手法である。
提案手法では,再学習を伴わない推論における性能と計算コストのバランスが可能である。
- 参考スコア（独自算出の注目度）: 29.010136088811137
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent times, the need for effective super-resolution (SR) techniques has surged, especially for large-scale images ranging 2K to 8K resolutions. For DNN-based SISR, decomposing images into overlapping patches is typically necessary due to computational constraints. In such patch-decomposing scheme, one can allocate computational resources differently based on each patch's difficulty to further improve efficiency while maintaining SR performance. However, this approach has a limitation: computational resources is uniformly allocated within a patch, leading to lower efficiency when the patch contain pixels with varying levels of restoration difficulty. To address the issue, we propose the Pixel-level Classifier for Single Image Super-Resolution (PCSR), a novel method designed to distribute computational resources adaptively at the pixel level. A PCSR model comprises a backbone, a pixel-level classifier, and a set of pixel-level upsamplers with varying capacities. The pixel-level classifier assigns each pixel to an appropriate upsampler based on its restoration difficulty, thereby optimizing computational resource usage. Our method allows for performance and computational cost balance during inference without re-training. Our experiments demonstrate PCSR's advantage over existing patch-distributing methods in PSNR-FLOP trade-offs across different backbone models and benchmarks. The code is available at https://github.com/3587jjh/PCSR.
- Abstract（参考訳）: 近年、特に2Kから8Kの解像度の大規模な画像に対して、効果的な超解像(SR)技術の必要性が高まっている。
DNNベースのSISRでは、イメージを重なり合うパッチに分解する必要がある。
このようなパッチ分解方式では、SR性能を維持しながら、各パッチの難易度に基づいて異なる計算資源を割り当てることができる。
しかし、このアプローチには制限がある: 計算資源はパッチ内で均一に割り当てられ、パッチが様々なレベルの復元困難を持つピクセルを含む場合、効率が低下する。
そこで本研究では,ピクセルレベルで計算資源を適応的に分配する新しい手法であるシングルイメージ超解法(PCSR)のPixelレベル分類器を提案する。
PCSRモデルは、バックボーン、画素レベル分類器、および様々な容量を持つ画素レベルアップサンプラーからなる。
画素レベル分類器は、その復元難易度に基づいて各画素を適切なアップサンプラーに割り当て、計算資源の使用を最適化する。
提案手法では,再学習を伴わない推論における性能と計算コストのバランスが可能である。
本実験は,PSNR-FLOPトレードオフにおける既存のパッチ配布方式に対するPCSRの利点を,異なるバックボーンモデルとベンチマークで示すものである。
コードはhttps://github.com/3587jh/PCSRで公開されている。
関連論文リスト
- Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach [58.57026686186709]
本稿では, Convolutional Transformer Layer (ConvFormer) を導入し, ConvFormer-based Super-Resolution Network (CFSR) を提案する。
CFSRは畳み込みベースのアプローチとトランスフォーマーベースのアプローチの両方の利点を継承する。
CFSRは計算コストと性能のバランスが最適であることを示す実験である。
論文 参考訳（メタデータ） (2024-01-11T03:08:00Z) - Pixel Adapter: A Graph-Based Post-Processing Approach for Scene Text
Image Super-Resolution [22.60056946339325]
アップサンプリングによる画素歪みに対処するために,グラフアテンションに基づくPixel Adapter Module (PAM)を提案する。
PAMは、各ピクセルが隣人と対話し、機能を更新することで、ローカルな構造情報を効果的にキャプチャする。
提案手法は,従来の認識精度を上回り,高品質な超解像を生成することを実証する。
論文 参考訳（メタデータ） (2023-09-16T08:12:12Z) - Super-Resolution of License Plate Images Using Attention Modules and
Sub-Pixel Convolution Layers [3.8831062015253055]
監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。
提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。
以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2023-05-27T00:17:19Z) - Binarized Spectral Compressive Imaging [59.18636040850608]
ハイパースペクトル画像(HSI)再構成のための既存のディープラーニングモデルは、優れた性能を実現するが、膨大なメモリと計算資源を持つ強力なハードウェアを必要とする。
本稿では,BiSRNet(Biarized Spectral-Redistribution Network)を提案する。
BiSRNetは,提案手法を用いてベースモデルのバイナライズを行う。
論文 参考訳（メタデータ） (2023-05-17T15:36:08Z) - CADyQ: Content-Aware Dynamic Quantization for Image Super-Resolution [55.50793823060282]
本稿では,画像超解像(SR)ネットワークのための新しいコンテント・アウェア・ダイナミック量子化(CADyQ)手法を提案する。
CADyQは、入力画像のローカル内容に基づいて、局所領域と層に最適なビットを適応的に割り当てる。
パイプラインは様々なSRネットワークでテストされ、いくつかの標準ベンチマークで評価されている。
論文 参考訳（メタデータ） (2022-07-21T07:50:50Z) - Memory Efficient Patch-based Training for INR-based GANs [13.19626131847784]
既存のアプローチの訓練には、画像解像度に比例した計算コストが要求される。
我々は、INRベースのGANを柔軟な計算コストでトレーニングできる、新しいスケーラブルなアプローチであるマルチステージパッチベースのトレーニングを提案する。
具体的には、パッチを用いて画像の局所的な詳細を学習し、グローバルな構造情報を学習することを可能にする。
論文 参考訳（メタデータ） (2022-07-04T13:28:53Z) - Hybrid Pixel-Unshuffled Network for Lightweight Image Super-Resolution [64.54162195322246]
畳み込みニューラルネットワーク(CNN)は画像超解像(SR)において大きな成功を収めた
ほとんどのディープCNNベースのSRモデルは、高い性能を得るために大量の計算を処理している。
SRタスクに効率的かつ効果的なダウンサンプリングモジュールを導入することで,HPUN(Hybrid Pixel-Unshuffled Network)を提案する。
論文 参考訳（メタデータ） (2022-03-16T20:10:41Z) - Parallel Discrete Convolutions on Adaptive Particle Representations of
Images [2.362412515574206]
適応粒子表現上の離散畳み込み演算子のネイティブ実装のためのデータ構造とアルゴリズムを提案する。
APRは、サンプリング解像度を画像信号に局所的に適応するコンテンツ適応型画像表現である。
APRの畳み込みは、マルチコアCPUとGPUアーキテクチャを効率的に並列化するスケール適応アルゴリズムを自然に導くことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:40:05Z) - LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single
Image Super-Resolution and Beyond [75.37541439447314]
単一画像超解像(SISR)は、低解像度(LR)画像を高解像度(HR)バージョンにアップサンプリングする根本的な問題を扱う。
本稿では,線形組立画素適応回帰ネットワーク (LAPAR) を提案する。
論文 参考訳（メタデータ） (2021-05-21T15:47:18Z) - Cross-Scale Internal Graph Neural Network for Image Super-Resolution [147.77050877373674]
自然画像における非局所的な自己相似性は、画像修復に有効な先行研究として、よく研究されている。
単一の画像超解像(SISR)の場合、既存のディープ非局所法のほとんどは、低解像度(LR)入力画像と同じ規模のパッチしか利用していない。
これは、新しいクロススケールな内部グラフニューラルネットワーク(IGNN)を用いて実現される。
論文 参考訳（メタデータ） (2020-06-30T10:48:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。