論文の概要: Memory-Augmented Deep Unfolding Network for Compressive Sensing
- arxiv url: http://arxiv.org/abs/2110.09766v1
- Date: Tue, 19 Oct 2021 07:03:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 22:24:52.639467
- Title: Memory-Augmented Deep Unfolding Network for Compressive Sensing
- Title(参考訳): 圧縮センシングのためのメモリ拡張Deep Unfolding Network
- Authors: Jiechong Song, Bin Chen and Jian Zhang
- Abstract要約: メモリ拡張Deep Unfolding Network (MADUN) は、切り捨てられた最適化手法をディープニューラルネットワークにマッピングするために提案されている。
我々はMADUNが既存の最先端手法よりも大きなマージンで優れていることを示す。
- 参考スコア(独自算出の注目度): 7.123516761504439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mapping a truncated optimization method into a deep neural network, deep
unfolding network (DUN) has attracted growing attention in compressive sensing
(CS) due to its good interpretability and high performance. Each stage in DUNs
corresponds to one iteration in optimization. By understanding DUNs from the
perspective of the human brain's memory processing, we find there exists two
issues in existing DUNs. One is the information between every two adjacent
stages, which can be regarded as short-term memory, is usually lost seriously.
The other is no explicit mechanism to ensure that the previous stages affect
the current stage, which means memory is easily forgotten. To solve these
issues, in this paper, a novel DUN with persistent memory for CS is proposed,
dubbed Memory-Augmented Deep Unfolding Network (MADUN). We design a
memory-augmented proximal mapping module (MAPMM) by combining two types of
memory augmentation mechanisms, namely High-throughput Short-term Memory (HSM)
and Cross-stage Long-term Memory (CLM). HSM is exploited to allow DUNs to
transmit multi-channel short-term memory, which greatly reduces information
loss between adjacent stages. CLM is utilized to develop the dependency of deep
information across cascading stages, which greatly enhances network
representation capability. Extensive CS experiments on natural and MR images
show that with the strong ability to maintain and balance information our MADUN
outperforms existing state-of-the-art methods by a large margin. The source
code is available at https://github.com/jianzhangcs/MADUN/.
- Abstract(参考訳): 切断最適化法をディープニューラルネットワークにマッピングするdeep unfolding network (dun) は,その解釈性と高性能性から,圧縮センシング (cs) に注目が集まっている。
DUNのそれぞれのステージは最適化の1つのイテレーションに対応する。
人間の脳のメモリ処理の観点からDUNを理解することで、既存のDUNには2つの問題があることが分かる。
1つは、短期記憶と見なすことができる2つの隣り合うステージ間の情報であり、通常は深刻に失われる。
もう1つは、前のステージが現在のステージに影響を与えることを保証する明示的なメカニズムではない。
この問題を解決するため,本論文では,csのための永続記憶を持つ新しいdun, memory-augmented deep unfolding network (madun) を提案する。
本稿では,HSM(High-throughput Short-term Memory)とCLM(Cross-stage Long-term Memory)の2種類のメモリ拡張機構を組み合わせることで,メモリ拡張近位写像モジュール(MAPMM)を設計する。
HSMを利用してDUNがマルチチャネル短期記憶を送信し、隣接ステージ間の情報損失を大幅に低減する。
clmは、カスケードステージ間の深い情報の依存関係を開発するために利用され、ネットワーク表現能力が大幅に向上する。
自然画像とMR画像の広範囲にわたるCS実験により、MADUNは情報の維持とバランスの強い能力により、既存の最先端の手法よりも大きなマージンで優れていることが示された。
ソースコードはhttps://github.com/jianzhangcs/MADUN/で入手できる。
関連論文リスト
- Topology-aware Embedding Memory for Continual Learning on Expanding
Networks [69.21427519408016]
メモリリプレイ技術は、漸進的に蓄積されたユークリッドデータによる継続的な学習において大きな成功を収めている。
しかし、ネットワークの継続的な拡張にそれらを直接適用することは、潜在的なメモリ爆発問題につながる。
我々は、トポロジ-埋め込みメモリ(TEM)を備えた一般フレームワーク、すなわちTEMaware Decoupled Graph Neural Networks(PDGNN)を提案する。
本稿では,TEMを用いたTEMaware PDGNNが最先端技術,特に難易度の高いクラスインクリメンタルセッティングにおいて著しく優れていることを示す。
論文 参考訳(メタデータ) (2024-01-24T03:03:17Z) - MAMBA: Multi-level Aggregation via Memory Bank for Video Object
Detection [35.16197118579414]
我々は,MAMBAと呼ばれるメモリバンクを用いたマルチレベル集約アーキテクチャを提案する。
具体的には,既存の手法の欠点を解消するために,メモリバンクが2つの新しい操作を施している。
従来の最先端手法と比較して,提案手法は速度と精度の両面で優れた性能を発揮する。
論文 参考訳(メタデータ) (2024-01-18T12:13:06Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳(メタデータ) (2023-10-17T01:05:28Z) - HiMA: A Fast and Scalable History-based Memory Access Engine for
Differentiable Neural Computer [0.20305676256390928]
タイルに分散メモリを備えたタイル型履歴ベースメモリアクセスエンジンであるHiMAについて述べる。
HiMAはマルチモードネットワークオンチップ(NoC)を導入し、通信遅延の低減とスケーラビリティの向上を実現している。
シミュレーションにより、DNCとDNC-Dを走らせるHiMAは6.47倍と39.1倍の速度、22.8倍と164.3倍の面積効率、6.1倍と61.2倍のエネルギー効率を示す。
論文 参考訳(メタデータ) (2022-02-15T09:35:14Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳(メタデータ) (2022-01-03T02:32:06Z) - Boosting Mobile CNN Inference through Semantic Memory [12.45440733435801]
デバイス上のCNN推論を改善するためのセマンティックメモリ設計を開発する。
SMTMは、関心のあるオブジェクトの長いテール分布を利用するために階層型メモリアーキテクチャを採用している。
標準的なアプローチ(最大2倍)や以前のキャッシュ設計(最大1.5倍)よりもモデル推論を大幅に高速化し、精度の低下を許容できる。
論文 参考訳(メタデータ) (2021-12-05T18:18:31Z) - Overcome Anterograde Forgetting with Cycled Memory Networks [23.523768741540117]
Cycled Memory Networks (CMN) は、いくつかのタスク関連、タスク対応、クラス増分、クロスドメインベンチマークを忘れることに効果的に対処できる。
論文 参考訳(メタデータ) (2021-12-04T14:06:54Z) - MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [70.29404271727155]
メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。
本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。
ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
論文 参考訳(メタデータ) (2021-10-28T17:58:45Z) - Decoupled and Memory-Reinforced Networks: Towards Effective Feature
Learning for One-Step Person Search [65.51181219410763]
歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。
現在のワンステップアプローチには2つの大きな課題があります。
本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
論文 参考訳(メタデータ) (2021-02-22T06:19:45Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳(メタデータ) (2021-02-20T18:40:40Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳(メタデータ) (2020-07-21T07:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。