論文の概要: Optimization-Inspired Cross-Attention Transformer for Compressive
Sensing
- arxiv url: http://arxiv.org/abs/2304.13986v1
- Date: Thu, 27 Apr 2023 07:21:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 14:16:55.098864
- Title: Optimization-Inspired Cross-Attention Transformer for Compressive
Sensing
- Title(参考訳): 圧縮センシングのための最適化インスパイアクロスタッチトランス
- Authors: Jiechong Song, Chong Mou, Shiqi Wang, Siwei Ma, Jian Zhang
- Abstract要約: 高い解釈性と高い性能を有する深部展開ネットワーク(DUN)は、圧縮センシングにおいて注目を集めている。
既存のDUNは、多数のパラメーターの価格で視覚的品質を向上し、イテレーション中に特徴情報を失う問題を引き起こすことが多い。
画像CSのための軽量なOCTUF (OCT-based Unfolding Framework) を実現するため,OCTモジュールを反復処理として提案する。
- 参考スコア(独自算出の注目度): 45.672646799969215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: By integrating certain optimization solvers with deep neural networks, deep
unfolding network (DUN) with good interpretability and high performance has
attracted growing attention in compressive sensing (CS). However, existing DUNs
often improve the visual quality at the price of a large number of parameters
and have the problem of feature information loss during iteration. In this
paper, we propose an Optimization-inspired Cross-attention Transformer (OCT)
module as an iterative process, leading to a lightweight OCT-based Unfolding
Framework (OCTUF) for image CS. Specifically, we design a novel Dual Cross
Attention (Dual-CA) sub-module, which consists of an Inertia-Supplied Cross
Attention (ISCA) block and a Projection-Guided Cross Attention (PGCA) block.
ISCA block introduces multi-channel inertia forces and increases the memory
effect by a cross attention mechanism between adjacent iterations. And, PGCA
block achieves an enhanced information interaction, which introduces the
inertia force into the gradient descent step through a cross attention block.
Extensive CS experiments manifest that our OCTUF achieves superior performance
compared to state-of-the-art methods while training lower complexity. Codes are
available at https://github.com/songjiechong/OCTUF.
- Abstract(参考訳): 特定の最適化ソルバをディープニューラルネットワークに統合することにより、深い展開ネットワーク(DUN)の解釈性と高いパフォーマンスが向上し、圧縮センシング(CS)に注目が集まっている。
しかし、既存のダンは、多くのパラメーターの値段で視覚品質を改善し、イテレーション中に特徴情報を失うという問題を抱えることが多い。
本稿では,OCTモジュールを反復処理として提案し,OCTUF(OCT-based Unfolding Framework)を画像CSに導入する。
具体的には、Inertia-Supplied Cross Attention (ISCA) ブロックと Projection-Guided Cross Attention (PGCA) ブロックからなる新しいDual Cross Attention (Dual-CA) サブモジュールを設計する。
ISCAブロックはマルチチャネル慣性力を導入し、隣接イテレーション間のクロスアテンション機構によりメモリ効果を高める。
また、PGCAブロックは情報相互作用の強化を実現し、クロスアテンションブロックを介して勾配降下ステップに慣性力を導入する。
CS実験により, OCTUFは最先端の手法に比べて高い性能を示しながら, より低い複雑さを訓練した。
コードはhttps://github.com/songjiechong/octufで入手できる。
関連論文リスト
- ELA: Efficient Local Attention for Deep Convolutional Neural Networks [15.976475674061287]
本稿では、簡単な構造で大幅な性能向上を実現するための効率的な局所注意法(ELA)を提案する。
これらの課題を克服するため、我々は1次元畳み込みとグループ正規化機能強化技術の導入を提案する。
ELAはResNet、MobileNet、DeepLabといったディープCNNネットワークにシームレスに統合できる。
論文 参考訳(メタデータ) (2024-03-02T08:06:18Z) - Dual-scale Enhanced and Cross-generative Consistency Learning for
Semi-supervised Polyp Segmentation [52.06525450636897]
大腸癌の早期診断と治療において, 自動ポリープセグメンテーションが重要な役割を担っている。
既存の手法は、完全に教師されたトレーニングに大きく依存しており、大量のラベル付きデータと時間を要するピクセル単位のアノテーションを必要とする。
大腸内視鏡画像からの半教師付きポリープ(DEC-Seg)のための新しいDual-scale Enhanced and Cross-generative consistency learningフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-26T12:56:31Z) - ESSAformer: Efficient Transformer for Hyperspectral Image
Super-resolution [76.7408734079706]
単一ハイパースペクトル像超解像(単一HSI-SR)は、低分解能観測から高分解能ハイパースペクトル像を復元することを目的としている。
本稿では,1つのHSI-SRの繰り返し精製構造を持つESSA注目組込みトランスフォーマネットワークであるESSAformerを提案する。
論文 参考訳(メタデータ) (2023-07-26T07:45:14Z) - Cross-Spatial Pixel Integration and Cross-Stage Feature Fusion Based
Transformer Network for Remote Sensing Image Super-Resolution [13.894645293832044]
変換器を用いたモデルでは、リモートセンシング画像超解像(RSISR)の競合性能が示されている。
本稿では,RSISRのための新しいトランスアーキテクチャであるCross-Spatial Pixel IntegrationとCross-Stage Feature Fusion Based Transformer Network (SPIFFNet)を提案する。
提案手法は,画像全体のグローバル認知と理解を効果的に促進し,機能統合の効率化を図っている。
論文 参考訳(メタデータ) (2023-07-06T13:19:06Z) - Efficient Encoder-Decoder and Dual-Path Conformer for Comprehensive
Feature Learning in Speech Enhancement [0.2538209532048866]
本稿では、時間周波数(T-F)ドメイン音声強調ネットワーク(DPCFCS-Net)を提案する。
改良された高密度接続ブロック、デュアルパスモジュール、畳み込み拡張トランス(コンフォーマー)、チャンネルアテンション、空間アテンションが組み込まれている。
従来のモデルと比較して,提案モデルはより効率的なエンコーダデコーダを備え,包括的特徴を学習することができる。
論文 参考訳(メタデータ) (2023-06-09T12:52:01Z) - Cross-receptive Focused Inference Network for Lightweight Image
Super-Resolution [64.25751738088015]
トランスフォーマーに基づく手法は、単一画像超解像(SISR)タスクにおいて顕著な性能を示した。
動的に特徴を抽出するために文脈情報を組み込む必要がある変換器は無視される。
我々は,CNNとTransformerを混合したCTブロックのカスケードで構成される,軽量なクロスレセプティブ・フォーカスド・推論・ネットワーク(CFIN)を提案する。
論文 参考訳(メタデータ) (2022-07-06T16:32:29Z) - Asymmetric CNN for image super-resolution [102.96131810686231]
深層畳み込みニューラルネットワーク(CNN)は、過去5年間で低レベルビジョンに広く適用されています。
画像超解像のための非対称ブロック(AB)、mem?ory拡張ブロック(MEB)、高周波数特徴強調ブロック(HFFEB)からなる非対称CNN(ACNet)を提案する。
我々のACNetは、ブラインドノイズの単一画像超解像(SISR)、ブラインドSISR、ブラインドSISRを効果的に処理できる。
論文 参考訳(メタデータ) (2021-03-25T07:10:46Z) - CovSegNet: A Multi Encoder-Decoder Architecture for Improved Lesion
Segmentation of COVID-19 Chest CT Scans [11.946078871080836]
高度に効率的なニューラルネットワークアーキテクチャ、すなわちCovSegNetを利用して、自動化されたCOVID-19病変のセグメンテーションスキームを提案する。
パフォーマンスは3つの公開データセットで達成されており、他の最先端のアプローチよりも大幅に向上している。
論文 参考訳(メタデータ) (2020-12-02T19:26:35Z) - Cross-Attention in Coupled Unmixing Nets for Unsupervised Hyperspectral
Super-Resolution [79.97180849505294]
本稿では,HSIの空間分解能を高めるために,CUCaNetというクロスアテンション機構を備えた新しい結合型アンミックスネットワークを提案する。
3つの広く使われているHS-MSデータセットに対して、最先端のHSI-SRモデルと比較実験を行った。
論文 参考訳(メタデータ) (2020-07-10T08:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。