論文の概要: Optimization-Inspired Cross-Attention Transformer for Compressive Sensing

• arxiv url: http://arxiv.org/abs/2304.13986v1
• Date: Thu, 27 Apr 2023 07:21:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 14:16:55.098864
• Title: Optimization-Inspired Cross-Attention Transformer for Compressive Sensing
• Title（参考訳）: 圧縮センシングのための最適化インスパイアクロスタッチトランス
• Authors: Jiechong Song, Chong Mou, Shiqi Wang, Siwei Ma, Jian Zhang
• Abstract要約: 高い解釈性と高い性能を有する深部展開ネットワーク(DUN)は、圧縮センシングにおいて注目を集めている。 既存のDUNは、多数のパラメーターの価格で視覚的品質を向上し、イテレーション中に特徴情報を失う問題を引き起こすことが多い。 画像CSのための軽量なOCTUF (OCT-based Unfolding Framework) を実現するため,OCTモジュールを反復処理として提案する。
• 参考スコア（独自算出の注目度）: 45.672646799969215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: By integrating certain optimization solvers with deep neural networks, deep unfolding network (DUN) with good interpretability and high performance has attracted growing attention in compressive sensing (CS). However, existing DUNs often improve the visual quality at the price of a large number of parameters and have the problem of feature information loss during iteration. In this paper, we propose an Optimization-inspired Cross-attention Transformer (OCT) module as an iterative process, leading to a lightweight OCT-based Unfolding Framework (OCTUF) for image CS. Specifically, we design a novel Dual Cross Attention (Dual-CA) sub-module, which consists of an Inertia-Supplied Cross Attention (ISCA) block and a Projection-Guided Cross Attention (PGCA) block. ISCA block introduces multi-channel inertia forces and increases the memory effect by a cross attention mechanism between adjacent iterations. And, PGCA block achieves an enhanced information interaction, which introduces the inertia force into the gradient descent step through a cross attention block. Extensive CS experiments manifest that our OCTUF achieves superior performance compared to state-of-the-art methods while training lower complexity. Codes are available at https://github.com/songjiechong/OCTUF.
• Abstract（参考訳）: 特定の最適化ソルバをディープニューラルネットワークに統合することにより、深い展開ネットワーク(DUN)の解釈性と高いパフォーマンスが向上し、圧縮センシング(CS)に注目が集まっている。 しかし、既存のダンは、多くのパラメーターの値段で視覚品質を改善し、イテレーション中に特徴情報を失うという問題を抱えることが多い。 本稿では,OCTモジュールを反復処理として提案し,OCTUF(OCT-based Unfolding Framework)を画像CSに導入する。 具体的には、Inertia-Supplied Cross Attention (ISCA) ブロックと Projection-Guided Cross Attention (PGCA) ブロックからなる新しいDual Cross Attention (Dual-CA) サブモジュールを設計する。 ISCAブロックはマルチチャネル慣性力を導入し、隣接イテレーション間のクロスアテンション機構によりメモリ効果を高める。 また、PGCAブロックは情報相互作用の強化を実現し、クロスアテンションブロックを介して勾配降下ステップに慣性力を導入する。 CS実験により, OCTUFは最先端の手法に比べて高い性能を示しながら, より低い複雑さを訓練した。 コードはhttps://github.com/songjiechong/octufで入手できる。

関連論文リスト

• Adaptive Step-size Perception Unfolding Network with Non-local Hybrid Attention for Hyperspectral Image Reconstruction [0.39134031118910273]
  FISTAアルゴリズムに基づく深層展開ネットワークであるASPUNを提案する。 さらに,非局所的ハイブリッドアテンショントランス (NHAT) モジュールを設計し,コンバータの受容場特性をフル活用する。 実験の結果, ASPUNは既存のSOTAアルゴリズムよりも優れ, 最高の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2024-07-04T16:09:52Z)
• Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
  SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。 提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。 実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
  論文  参考訳（メタデータ） (2024-06-24T15:55:59Z)
• ECAFormer: Low-light Image Enhancement using Cross Attention [11.554554006307836]
  低照度画像強調(LLIE)はコンピュータビジョンにおいて重要である。 我々はクロスアテンショントランス(ECAFormer)による階層的相互強化を設計する。 我々は,ECAFormerが複数のベンチマークで競合性能に到達し,PSNRを最適化法よりも3%近く改善したことを示す。
  論文  参考訳（メタデータ） (2024-06-19T07:21:31Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising [54.110544509099526]
  ハイパースペクトル画像(HSI)は、ハイパースペクトルデータの効果的な解析と解釈に重要である。 ハイブリット・コンボリューション・アテンション・ネットワーク(HCANet)を提案する。 主流HSIデータセットに対する実験結果は,提案したHCANetの合理性と有効性を示している。
  論文  参考訳（メタデータ） (2024-03-15T07:18:43Z)
• Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based Transformer Network for Remote Sensing Image Super-Resolution [13.894645293832044]
  変換器を用いたモデルでは、リモートセンシング画像超解像(RSISR)の競合性能が示されている。 本稿では,RSISRのための新しいトランスアーキテクチャであるCross-Spatial Pixel IntegrationとCross-Stage Feature Fusion Based Transformer Network (SPIFFNet)を提案する。 提案手法は,画像全体のグローバル認知と理解を効果的に促進し,機能統合の効率化を図っている。
  論文  参考訳（メタデータ） (2023-07-06T13:19:06Z)
• Cross-receptive Focused Inference Network for Lightweight Image Super-Resolution [64.25751738088015]
  トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。 動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。 我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T16:32:29Z)
• CovSegNet: A Multi Encoder-Decoder Architecture for Improved Lesion Segmentation of COVID-19 Chest CT Scans [11.946078871080836]
  高度に効率的なニューラルネットワークアーキテクチャ、すなわちCovSegNetを利用して、自動化されたCOVID-19病変のセグメンテーションスキームを提案する。 パフォーマンスは3つの公開データセットで達成されており、他の最先端のアプローチよりも大幅に向上している。
  論文  参考訳（メタデータ） (2020-12-02T19:26:35Z)
• Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral Super-Resolution [79.97180849505294]
  本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。 3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
  論文  参考訳（メタデータ） (2020-07-10T08:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。