論文の概要: Efficient Non-Local Contrastive Attention for Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2201.03794v1
• Date: Tue, 11 Jan 2022 05:59:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 18:52:16.698820
• Title: Efficient Non-Local Contrastive Attention for Image Super-Resolution
• Title（参考訳）: 超解像に対する効率的な非局所コントラストアテンション
• Authors: Bin Xia, Yucheng Hang, Yapeng Tian, Wenming Yang, Qingmin Liao, Jie Zhou
• Abstract要約: 非局所的注意(NLA)は、自然画像の内在的特徴相関を利用して、単一画像超解法(SISR)に大きな改善をもたらす。 本稿では,長期視覚モデリングを行い,より関連性の高い非局所的特徴を活用するための,効率的な非局所的コントラスト注意(ENLCA)を提案する。
• 参考スコア（独自算出の注目度）: 48.093500219958834
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-Local Attention (NLA) brings significant improvement for Single Image Super-Resolution (SISR) by leveraging intrinsic feature correlation in natural images. However, NLA gives noisy information large weights and consumes quadratic computation resources with respect to the input size, limiting its performance and application. In this paper, we propose a novel Efficient Non-Local Contrastive Attention (ENLCA) to perform long-range visual modeling and leverage more relevant non-local features. Specifically, ENLCA consists of two parts, Efficient Non-Local Attention (ENLA) and Sparse Aggregation. ENLA adopts the kernel method to approximate exponential function and obtains linear computation complexity. For Sparse Aggregation, we multiply inputs by an amplification factor to focus on informative features, yet the variance of approximation increases exponentially. Therefore, contrastive learning is applied to further separate relevant and irrelevant features. To demonstrate the effectiveness of ENLCA, we build an architecture called Efficient Non-Local Contrastive Network (ENLCN) by adding a few of our modules in a simple backbone. Extensive experimental results show that ENLCN reaches superior performance over state-of-the-art approaches on both quantitative and qualitative evaluations.
• Abstract（参考訳）: 非局所的注意(NLA)は、自然画像の内在的特徴相関を利用して、単一画像超解法(SISR)に大きな改善をもたらす。 しかし、NLAはノイズの多い情報を提供し、入力サイズに関して二次計算資源を消費し、その性能と応用を制限する。 本稿では,長期ビジュアルモデリングを行い,より関連性の高い非局所的特徴を活用するための,効率的な非局所的コントラスト注意(ENLCA)を提案する。 具体的には、ENLCAは、効率的な非局所的注意(ENLA)とスパース集約(Sparse Aggregation)の2つの部分から構成される。 ENLAは指数関数を近似するためにカーネル法を採用し、線形計算複雑性を得る。 Sparse Aggregationでは、増幅係数で入力を乗算して情報的特徴にフォーカスするが、近似のばらつきは指数関数的に増加する。 したがって、コントラスト学習は、さらに関係性および無関係な特徴を分離するために適用される。 ENLCAの有効性を示すため,簡単なバックボーンにいくつかのモジュールを追加することで,ENLCN(Efficient Non-Local Contrastive Network)と呼ばれるアーキテクチャを構築した。 実験結果から,ENLCNは定量評価と定性評価の両方において,最先端手法よりも優れた性能を示した。

関連論文リスト

• HASN: Hybrid Attention Separable Network for Efficient Image Super-resolution [5.110892180215454]
  単一画像の超高解像度化のための軽量な手法は、限られたハードウェアリソースのために優れた性能を達成した。 その結果, 各ブロックの残差接続により, モデルストレージと計算コストが増大することが判明した。 我々は,基本的特徴抽出モジュールとして,奥行き分離可能な畳み込み,完全連結層,アクティベーション関数を用いる。
  論文  参考訳（メタデータ） (2024-10-13T14:00:21Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Efficient Learnable Collaborative Attention for Single Image Super-Resolution [18.955369476815136]
  非局所注意(NLA)は、深部画像超解像(SR)における長距離特徴相関を捉える強力な手法である 本稿では,非局所的モデリングに帰納バイアスを導入する新しい学習可能協調意識(LCoA)を提案する。 我々のLCoAは、推論段階での非局所モデリング時間を約83%削減できる。
  論文  参考訳（メタデータ） (2024-04-07T11:25:04Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
  低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。 既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。 提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
  論文  参考訳（メタデータ） (2023-07-08T15:41:48Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)
• PI-NLF: A Proportional-Integral Approach for Non-negative Latent Factor Analysis [9.087387628717952]
  非負潜在因子モデル(NLF)は、HDI行列に対する効率的な表現学習を行う。 PI-NLFモデルは、HDI行列の欠落データに対する計算効率と推定精度の両方において、最先端モデルよりも優れている。
  論文  参考訳（メタデータ） (2022-05-05T12:04:52Z)
• Local Function Complexity for Active Learning via Mixture of Gaussian Processes [5.382740428160009]
  実世界のデータにおける不均一性は、観測ノイズレベルの変化や源関数の構造的複雑さの変化により、統計的推測に固有の課題が生じる。 本稿では,局所関数複雑性(LFC)の推定に関する最近の理論的結果について述べる。 我々は、LPSベースのLFCのガウスプロセス回帰(GPR)に基づくアナログを導出、推定し、上記のフレームワークの代用として使用し、堅牢でスケーラブルにする。
  論文  参考訳（メタデータ） (2019-02-27T17:55:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。