論文の概要: Efficient Learnable Collaborative Attention for Single Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2404.04922v1
• Date: Sun, 7 Apr 2024 11:25:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 18:51:34.465655
• Title: Efficient Learnable Collaborative Attention for Single Image Super-Resolution
• Title（参考訳）: 単一画像の超解像に対する効率的な学習的協調的注意
• Authors: Yigang Zhao Chaowei Zheng, Jiannan Su, GuangyongChen, MinGan,
• Abstract要約: 非局所注意(NLA)は、深部画像超解像(SR)における長距離特徴相関を捉える強力な手法である 本稿では,非局所的モデリングに帰納バイアスを導入する新しい学習可能協調意識(LCoA)を提案する。 我々のLCoAは、推論段階での非局所モデリング時間を約83%削減できる。
• 参考スコア（独自算出の注目度）: 18.955369476815136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Non-Local Attention (NLA) is a powerful technique for capturing long-range feature correlations in deep single image super-resolution (SR). However, NLA suffers from high computational complexity and memory consumption, as it requires aggregating all non-local feature information for each query response and recalculating the similarity weight distribution for different abstraction levels of features. To address these challenges, we propose a novel Learnable Collaborative Attention (LCoA) that introduces inductive bias into non-local modeling. Our LCoA consists of two components: Learnable Sparse Pattern (LSP) and Collaborative Attention (CoA). LSP uses the k-means clustering algorithm to dynamically adjust the sparse attention pattern of deep features, which reduces the number of non-local modeling rounds compared with existing sparse solutions. CoA leverages the sparse attention pattern and weights learned by LSP, and co-optimizes the similarity matrix across different abstraction levels, which avoids redundant similarity matrix calculations. The experimental results show that our LCoA can reduce the non-local modeling time by about 83% in the inference stage. In addition, we integrate our LCoA into a deep Learnable Collaborative Attention Network (LCoAN), which achieves competitive performance in terms of inference time, memory consumption, and reconstruction quality compared with other state-of-the-art SR methods.
• Abstract（参考訳）: 非局所注意(NLA)は、深部画像超解像(SR)における長距離特徴相関を捉えるための強力な手法である。 しかしながら、NLAは、クエリ応答毎にすべての非局所的特徴情報を集約し、異なる抽象レベルの特徴に対して類似度重み分布を再計算する必要があるため、高い計算複雑性とメモリ消費に悩まされている。 これらの課題に対処するために,非局所モデリングに帰納的バイアスを導入する新しい学習可能協調意識(LCoA)を提案する。 LCoAはLearningable Sparse Pattern(LSP)とCollaborative Attention(CoA)の2つのコンポーネントで構成されています。 LSPは、k-meansクラスタリングアルゴリズムを用いて、深い特徴のスパースアテンションパターンを動的に調整し、既存のスパースソリューションと比較して非局所モデリングラウンドの数を減らす。 CoAは、LSPによって学習されたスパースアテンションパターンとウェイトを活用し、異なる抽象レベルで類似度行列を共最適化し、冗長な類似度行列計算を避ける。 実験の結果,LCoAは推論段階において局所的でないモデリング時間を約83%短縮できることがわかった。 さらに,LCoAを深層学習型協調注意ネットワーク(LCoAN)に統合し,従来のSR手法と比較して,推論時間,メモリ消費,再構成品質の面での競争性能を実現する。

関連論文リスト

• Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization [15.898378661128334]
  強化学習(RL)アルゴリズムは次元性の呪いに苦しむことが知られている。 本稿では,元のマルコフ決定過程(MDP)を,より小さく,独立に進化するMDPに大まかに分解することで,次元性の呪いを克服することを提案する。 提案手法は,両アルゴリズムに改良された複雑性保証を提供する。
  論文  参考訳（メタデータ） (2024-11-12T07:08:00Z)
• Q-VLM: Post-training Quantization for Large Vision-Language Models [73.19871905102545]
  本稿では,大規模視覚言語モデル(LVLM)の学習後量子化フレームワークを提案する。 視覚言語モデル全体の離散化誤差に大きな影響を及ぼす層間依存関係を抽出し、この依存関係を最適な量子化戦略に組み込む。 実験の結果,提案手法はメモリを2.78倍圧縮し,出力速度を約13B LLaVAモデルで1.44倍向上させることができた。
  論文  参考訳（メタデータ） (2024-10-10T17:02:48Z)
• Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling [0.0]
  本研究では、連続緩和による勾配に基づく更新と準量子アナリング(QQA)を組み合わせた別のアプローチを提案する。 数値実験により,本手法はiSCOと学習型解法に匹敵する性能を有する汎用解法であることが示された。
  論文  参考訳（メタデータ） (2024-09-02T12:55:27Z)
• ESSAformer: Efficient Transformer for Hyperspectral Image Super-resolution [76.7408734079706]
  単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。 本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
  論文  参考訳（メタデータ） (2023-07-26T07:45:14Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Towards Lightweight Cross-domain Sequential Recommendation via External Attention-enhanced Graph Convolution Network [7.1102362215550725]
  クロスドメインシークエンシャルレコメンデーション(CSR)は、複数のドメインからのインタラクションをモデル化することで、重複したユーザの振る舞いパターンの進化を描いている。 上記の課題,すなわちLEA-GCNを解決するために,軽量な外部注意強化GCNベースのフレームワークを導入する。 フレームワークの構造をさらに緩和し、ユーザ固有のシーケンシャルパターンを集約するために、新しい二重チャネル外部注意(EA)コンポーネントを考案する。
  論文  参考訳（メタデータ） (2023-02-07T03:06:29Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Efficient Non-Local Contrastive Attention for Image Super-Resolution [48.093500219958834]
  非局所的注意(NLA)は、自然画像の内在的特徴相関を利用して、単一画像超解法(SISR)に大きな改善をもたらす。 本稿では,長期視覚モデリングを行い,より関連性の高い非局所的特徴を活用するための,効率的な非局所的コントラスト注意(ENLCA)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T05:59:09Z)
• Image Super-Resolution with Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining [66.82470461139376]
  本稿では,再帰型ニューラルネットワークに統合されたCS-NLアテンションモジュールを提案する。 新しいCS-NLと局所的および非局所的非局所的前駆体を強力な再帰核融合セルで組み合わせることで、単一の低分解能画像内でよりクロススケールな特徴相関を見出すことができる。
  論文  参考訳（メタデータ） (2020-06-02T07:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。