論文の概要: From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2211.16776v1
• Date: Wed, 30 Nov 2022 06:32:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:07:36.114712
• Title: From Coarse to Fine: Hierarchical Pixel Integration for Lightweight Image Super-Resolution
• Title（参考訳）: 粗いものから細かいものへ:軽量画像超解像のための階層型ピクセル統合
• Authors: Jie Liu, Chao Chen, Jie Tang, Gangshan Wu
• Abstract要約: トランスフォーマーモデルによる画像超解像(SR)の競争性能の向上 SRネットワークのローカルマップ(LAM)の解釈から洞察を得た新しいアテンションブロックを提案する。 細部では、パッチ内自己注意属性(IPSA)モジュールを使用して、局所パッチ内の長距離画素依存性をモデル化する。
• 参考スコア（独自算出の注目度）: 41.0555613285837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image super-resolution (SR) serves as a fundamental tool for the processing and transmission of multimedia data. Recently, Transformer-based models have achieved competitive performances in image SR. They divide images into fixed-size patches and apply self-attention on these patches to model long-range dependencies among pixels. However, this architecture design is originated for high-level vision tasks, which lacks design guideline from SR knowledge. In this paper, we aim to design a new attention block whose insights are from the interpretation of Local Attribution Map (LAM) for SR networks. Specifically, LAM presents a hierarchical importance map where the most important pixels are located in a fine area of a patch and some less important pixels are spread in a coarse area of the whole image. To access pixels in the coarse area, instead of using a very large patch size, we propose a lightweight Global Pixel Access (GPA) module that applies cross-attention with the most similar patch in an image. In the fine area, we use an Intra-Patch Self-Attention (IPSA) module to model long-range pixel dependencies in a local patch, and then a $3\times3$ convolution is applied to process the finest details. In addition, a Cascaded Patch Division (CPD) strategy is proposed to enhance perceptual quality of recovered images. Extensive experiments suggest that our method outperforms state-of-the-art lightweight SR methods by a large margin. Code is available at https://github.com/passerer/HPINet.
• Abstract（参考訳）: 画像超解像(SR)はマルチメディアデータの処理と伝送の基本的なツールである。 近年,Transformerベースのモデルでは画像SRの競争性能が向上している。 イメージを固定サイズのパッチに分割し、これらのパッチに自己アテンションを適用してピクセル間の長距離依存性をモデル化する。 しかし、このアーキテクチャ設計はSR知識からの設計ガイドラインを欠く高レベルの視覚タスクに起源がある。 本稿では,SRネットワークのためのローカル属性マップ(LAM)の解釈から洞察を得た新しいアテンションブロックを設計することを目的とする。 具体的には、最重要画素をパッチの細かい領域に配置し、重要でない画素を画像全体の粗い領域に展開する階層的重要度マップを示す。 非常に大きなパッチサイズではなく、粗い領域のピクセルにアクセスするために、画像の最も類似したパッチと相互アテンションを適用する軽量なGPA(Global Pixel Access)モジュールを提案する。 細部では、パッチ内自己保持(IPSA)モジュールを使用して、局所パッチ内の長距離画素依存性をモデル化し、次いで、最も詳細な処理に$3\times3$の畳み込みを適用します。 さらに,回復画像の知覚的品質を高めるために,カスケードパッチディビジョン(CPD)戦略を提案する。 大規模な実験により,本手法は最先端の軽量SR法よりも高い性能を示した。 コードはhttps://github.com/passererer/HPINetで入手できる。

関連論文リスト

• Parameter-Inverted Image Pyramid Networks [49.35689698870247]
  Inverted Image Pyramid Networks (PIIP) と呼ばれる新しいネットワークアーキテクチャを提案する。 私たちの中核となる考え方は、パラメータサイズの異なるモデルを使用して、画像ピラミッドの解像度の異なるレベルを処理することです。 PIIPは、オブジェクト検出、セグメンテーション、画像分類などのタスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:10Z)
• Parallel Cross Strip Attention Network for Single Image Dehazing [15.246376325081973]
  単一画像デハジングは、ぼんやりとしたイメージを復元し、透明で高品質なビジュアルを作り出すことを目的としている。 伝統的な畳み込みモデルは、受容野のサイズが限られているため、長距離依存に苦しむ。 マルチスケール戦略を用いた並列Stripe Cross Attention (PCSA) に基づく新しいデハージングネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-09T14:50:07Z)
• Pixel-Inconsistency Modeling for Image Manipulation Localization [63.54342601757723]
  デジタル画像法医学は、画像認証と操作のローカライゼーションにおいて重要な役割を果たす。 本稿では,画素不整合アーチファクトの解析を通じて,一般化されたロバストな操作ローカライゼーションモデルを提案する。 実験により,本手法は固有の画素不整合偽指紋を抽出することに成功した。
  論文  参考訳（メタデータ） (2023-09-30T02:54:51Z)
• Pixel Adapter: A Graph-Based Post-Processing Approach for Scene Text Image Super-Resolution [22.60056946339325]
  アップサンプリングによる画素歪みに対処するために,グラフアテンションに基づくPixel Adapter Module (PAM)を提案する。 PAMは、各ピクセルが隣人と対話し、機能を更新することで、ローカルな構造情報を効果的にキャプチャする。 提案手法は,従来の認識精度を上回り,高品質な超解像を生成することを実証する。
  論文  参考訳（メタデータ） (2023-09-16T08:12:12Z)
• Super-Resolution of License Plate Images Using Attention Modules and Sub-Pixel Convolution Layers [3.8831062015253055]
  監視画像における構造的特徴およびテクスチャ的特徴の検出を強化するために,Single-Image Super-Resolution (SISR) アプローチを導入する。 提案手法は,サブピクセルの畳み込み層と,光学的文字認識(OCR)モデルを用いて特徴抽出を行うロス関数を含む。 以上の結果から, これらの低解像度合成画像の再構成手法は, 定量化と定性化の両面で, 既存の画像よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-05-27T00:17:19Z)
• Probabilistic Deep Metric Learning for Hyperspectral Image Classification [91.5747859691553]
  本稿では,ハイパースペクトル画像分類のための確率論的深度学習フレームワークを提案する。 ハイパースペクトルセンサーが捉えた画像に対して、各ピクセルのカテゴリを予測することを目的としている。 我々のフレームワークは、既存のハイパースペクトル画像分類法に容易に適用できる。
  論文  参考訳（メタデータ） (2022-11-15T17:57:12Z)
• HIPA: Hierarchical Patch Transformer for Single Image Super Resolution [62.7081074931892]
  本稿では,階層型パッチ分割を用いた高解像度画像を段階的に復元する新しいトランスフォーマーアーキテクチャHIPAを提案する。 入力画像を複数のステージで処理するカスケードモデルを構築し、小さなパッチサイズでトークンから始めて、徐々に全解像度にマージします。 このような階層的なパッチ機構は、複数の解像度で機能集約を可能にするだけでなく、異なる画像領域に対するパッチ認識機能も適応的に学習する。
  論文  参考訳（メタデータ） (2022-03-19T05:09:34Z)
• Patch-Based Stochastic Attention for Image Editing [4.8201607588546]
  PatchMatchアルゴリズムをベースとした,近接する近傍近傍の同定に有効なアテンション層を提案する。 画像インペイント, ガイド画像のカラー化, シングルイメージ超解像など, 画像編集作業におけるPSALの有用性を示す。
  論文  参考訳（メタデータ） (2022-02-07T13:42:00Z)
• Generating Superpixels for High-resolution Images with Decoupled Patch Calibration [82.21559299694555]
  Patch Networks (PCNet) は高解像度のスーパーピクセルセグメンテーションを効率的かつ正確に実装するように設計されている。 DPCは高解像度画像から局所パッチを取得し、動的にバイナリマスクを生成し、ネットワークを領域境界に集中させる。 特に、DPCは高解像度画像からローカルパッチを取り、動的にバイナリマスクを生成して、ネットワークを領域境界に集中させる。
  論文  参考訳（メタデータ） (2021-08-19T10:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。