論文の概要: Image Super-Resolution with Taylor Expansion Approximation and Large Field Reception

• arxiv url: http://arxiv.org/abs/2408.00470v1
• Date: Thu, 1 Aug 2024 11:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 20:56:07.814205
• Title: Image Super-Resolution with Taylor Expansion Approximation and Large Field Reception
• Title（参考訳）: テイラー展開近似による画像超解像と大域受容
• Authors: Jiancong Feng, Yuan-Gen Wang, Mingjie Li, Fengchuang Xing,
• Abstract要約: 自己相似性計算における高次元行列乗算は、膨大な計算コストを消費する。 本稿では,クエリとキーの行列乗算を分離する2階Taylor拡張近似(STEA)を提案する。 また,STEAによる性能劣化を補うため,MLFR(Multi-scale large field reception)を設計した。
• 参考スコア（独自算出の注目度）: 8.481787094496433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-similarity techniques are booming in blind super-resolution (SR) due to accurate estimation of the degradation types involved in low-resolution images. However, high-dimensional matrix multiplication within self-similarity computation prohibitively consumes massive computational costs. We find that the high-dimensional attention map is derived from the matrix multiplication between Query and Key, followed by a softmax function. This softmax makes the matrix multiplication between Query and Key inseparable, posing a great challenge in simplifying computational complexity. To address this issue, we first propose a second-order Taylor expansion approximation (STEA) to separate the matrix multiplication of Query and Key, resulting in the complexity reduction from $\mathcal{O}(N^2)$ to $\mathcal{O}(N)$. Then, we design a multi-scale large field reception (MLFR) to compensate for the performance degradation caused by STEA. Finally, we apply these two core designs to laboratory and real-world scenarios by constructing LabNet and RealNet, respectively. Extensive experimental results tested on five synthetic datasets demonstrate that our LabNet sets a new benchmark in qualitative and quantitative evaluations. Tested on the RealWorld38 dataset, our RealNet achieves superior visual quality over existing methods. Ablation studies further verify the contributions of STEA and MLFR towards both LabNet and RealNet frameworks.
• Abstract（参考訳）: 自己相似性技術は、低解像度画像の劣化タイプを正確に推定するため、ブラインド超解像(SR)においてブームとなっている。 しかし、自己相似性計算における高次元行列乗法は、膨大な計算コストを禁止的に消費する。 高次元アテンションマップは、Query と Key の行列乗法から導出され、続いてソフトマックス関数が導出される。 このソフトマックスは、クエリとキーの分離不能な行列の乗算を可能にし、計算の複雑さを単純化する上で大きな課題となる。 この問題に対処するために、まず、クエリとキーの行列乗法を分離する2階テイラー展開近似(STEA)を提案し、複雑さを$\mathcal{O}(N^2)$から$\mathcal{O}(N)$に縮める。 そこで我々は,STEAによる性能劣化を補うため,MLFR(Multi-scale large field reception)を設計した。 最後に,これら2つのコア設計を,ラボネットとリアルネットをそれぞれ構築することで,実験室と実世界のシナリオに適用する。 5つの合成データセットで行った大規模な実験結果から,我々のラボネットは質的,定量的な評価に新たなベンチマークを設定できた。 RealWorld38データセットでテストされたRealNetは、既存のメソッドよりも優れた視覚的品質を実現しています。 アブレーション研究は、ラボネットとリアルネットの両方のフレームワークに対するSTEAとMLFRの貢献をさらに検証する。

関連論文リスト

• Towards a Fairer Non-negative Matrix Factorization [6.069820038869034]
  非負行列因子化(NMF)がデータ群の表現に偏りをもたらすかを検討する。 異なるグループに対する最大再構成損失を最小化するFairer-NMFという手法を提案する。
  論文  参考訳（メタデータ） (2024-11-14T23:34:38Z)
• Tender: Accelerating Large Language Models via Tensor Decomposition and Runtime Requantization [0.6445087473595953]
  大規模言語モデル(LLM)は、機械学習における様々なタスクにおいて優れたパフォーマンスを示す。 LLM推論のデプロイは、高い計算とメモリ要求のために問題となる。 我々は,低精度でLLM推論を効率的に展開できるアルゴリズム-ハードウェア共設計ソリューションであるテンダーを提案する。
  論文  参考訳（メタデータ） (2024-06-16T09:51:55Z)
• Polynomial-Time Solutions for ReLU Network Training: A Complexity Classification via Max-Cut and Zonotopes [70.52097560486683]
  我々は、ReLUネットワークの近似の難しさがマックス・カッツ問題の複雑さを反映しているだけでなく、特定の場合において、それと完全に一致することを証明した。 特に、$epsilonleqsqrt84/83-1approx 0.006$とすると、目的値に関して相対誤差$epsilon$でReLUネットワーク対象の近似グローバルデータセットを見つけることはNPハードであることが示される。
  論文  参考訳（メタデータ） (2023-11-18T04:41:07Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs [39.799125462526234]
  我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
  論文  参考訳（メタデータ） (2021-10-11T18:00:30Z)
• Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection [138.97647716793333]
  再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。 提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
  論文  参考訳（メタデータ） (2020-12-29T04:08:38Z)
• PCA Reduced Gaussian Mixture Models with Applications in Superresolution [1.885698488789676]
  本稿は、このトピックに2倍のコントリビューションを提供する。 まず,モデルの各成分におけるデータ次元の減少と合わせてガウス混合モデルを提案する。 第2に,サンディープとヤコブのアプローチに基づく2次元および3次元材料画像の超解像化にPCA-GMMを適用した。
  論文  参考訳（メタデータ） (2020-09-16T07:33:56Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• MOPS-Net: A Matrix Optimization-driven Network forTask-Oriented 3D Point Cloud Downsampling [86.42733428762513]
  MOPS-Netは行列最適化のための新しい解釈可能な深層学習手法である。 我々はMOPS-Netが様々なタスクに対して最先端の深層学習手法に対して好適な性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-05-01T14:01:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。