論文の概要: Memory-Augmented Deep Unfolding Network for Compressive Sensing

• arxiv url: http://arxiv.org/abs/2110.09766v1
• Date: Tue, 19 Oct 2021 07:03:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 22:24:52.639467
• Title: Memory-Augmented Deep Unfolding Network for Compressive Sensing
• Title（参考訳）: 圧縮センシングのためのメモリ拡張Deep Unfolding Network
• Authors: Jiechong Song, Bin Chen and Jian Zhang
• Abstract要約: メモリ拡張Deep Unfolding Network (MADUN) は、切り捨てられた最適化手法をディープニューラルネットワークにマッピングするために提案されている。 我々はMADUNが既存の最先端手法よりも大きなマージンで優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.123516761504439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mapping a truncated optimization method into a deep neural network, deep unfolding network (DUN) has attracted growing attention in compressive sensing (CS) due to its good interpretability and high performance. Each stage in DUNs corresponds to one iteration in optimization. By understanding DUNs from the perspective of the human brain's memory processing, we find there exists two issues in existing DUNs. One is the information between every two adjacent stages, which can be regarded as short-term memory, is usually lost seriously. The other is no explicit mechanism to ensure that the previous stages affect the current stage, which means memory is easily forgotten. To solve these issues, in this paper, a novel DUN with persistent memory for CS is proposed, dubbed Memory-Augmented Deep Unfolding Network (MADUN). We design a memory-augmented proximal mapping module (MAPMM) by combining two types of memory augmentation mechanisms, namely High-throughput Short-term Memory (HSM) and Cross-stage Long-term Memory (CLM). HSM is exploited to allow DUNs to transmit multi-channel short-term memory, which greatly reduces information loss between adjacent stages. CLM is utilized to develop the dependency of deep information across cascading stages, which greatly enhances network representation capability. Extensive CS experiments on natural and MR images show that with the strong ability to maintain and balance information our MADUN outperforms existing state-of-the-art methods by a large margin. The source code is available at https://github.com/jianzhangcs/MADUN/.
• Abstract（参考訳）: 切断最適化法をディープニューラルネットワークにマッピングするdeep unfolding network (dun) は,その解釈性と高性能性から,圧縮センシング (cs) に注目が集まっている。 DUNのそれぞれのステージは最適化の1つのイテレーションに対応する。 人間の脳のメモリ処理の観点からDUNを理解することで、既存のDUNには2つの問題があることが分かる。 1つは、短期記憶と見なすことができる2つの隣り合うステージ間の情報であり、通常は深刻に失われる。 もう1つは、前のステージが現在のステージに影響を与えることを保証する明示的なメカニズムではない。 この問題を解決するため,本論文では,csのための永続記憶を持つ新しいdun, memory-augmented deep unfolding network (madun) を提案する。 本稿では,HSM(High-throughput Short-term Memory)とCLM(Cross-stage Long-term Memory)の2種類のメモリ拡張機構を組み合わせることで,メモリ拡張近位写像モジュール(MAPMM)を設計する。 HSMを利用してDUNがマルチチャネル短期記憶を送信し、隣接ステージ間の情報損失を大幅に低減する。 clmは、カスケードステージ間の深い情報の依存関係を開発するために利用され、ネットワーク表現能力が大幅に向上する。 自然画像とMR画像の広範囲にわたるCS実験により、MADUNは情報の維持とバランスの強い能力により、既存の最先端の手法よりも大きなマージンで優れていることが示された。 ソースコードはhttps://github.com/jianzhangcs/MADUN/で入手できる。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• MeMSVD: Long-Range Temporal Structure Capturing Using Incremental SVD [27.472705540825316]
  本論文は、長時間の時間窓上での人間の行動を認識すること(最大数分)を目標とする長期映像理解について述べる。 本稿では,Singular Value Decomposition を用いて取得したメモリの低ランク近似に基づくアテンションベースのスキームの代替を提案する。 提案手法には2つの利点がある: (a) 複雑度を1桁以上削減し, (b) メモリベース計算の効率的な実装が可能である。
  論文  参考訳（メタデータ） (2024-06-11T12:03:57Z)
• Topology-aware Embedding Memory for Continual Learning on Expanding Networks [63.35819388164267]
  本稿では,メモリリプレイ技術を用いて,メモリ爆発問題に対処する枠組みを提案する。 Topology-aware Embedding Memory (TEM) を用いたPDGNNは最先端技術よりも優れている。
  論文  参考訳（メタデータ） (2024-01-24T03:03:17Z)
• MAMBA: Multi-level Aggregation via Memory Bank for Video Object Detection [35.16197118579414]
  我々は,MAMBAと呼ばれるメモリバンクを用いたマルチレベル集約アーキテクチャを提案する。 具体的には,既存の手法の欠点を解消するために,メモリバンクが2つの新しい操作を施している。 従来の最先端手法と比較して,提案手法は速度と精度の両面で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-01-18T12:13:06Z)
• HiMA: A Fast and Scalable History-based Memory Access Engine for Differentiable Neural Computer [0.20305676256390928]
  タイルに分散メモリを備えたタイル型履歴ベースメモリアクセスエンジンであるHiMAについて述べる。 HiMAはマルチモードネットワークオンチップ(NoC)を導入し、通信遅延の低減とスケーラビリティの向上を実現している。 シミュレーションにより、DNCとDNC-Dを走らせるHiMAは6.47倍と39.1倍の速度、22.8倍と164.3倍の面積効率、6.1倍と61.2倍のエネルギー効率を示す。
  論文  参考訳（メタデータ） (2022-02-15T09:35:14Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Boosting Mobile CNN Inference through Semantic Memory [12.45440733435801]
  デバイス上のCNN推論を改善するためのセマンティックメモリ設計を開発する。 SMTMは、関心のあるオブジェクトの長いテール分布を利用するために階層型メモリアーキテクチャを採用している。 標準的なアプローチ(最大2倍)や以前のキャッシュ設計(最大1.5倍)よりもモデル推論を大幅に高速化し、精度の低下を許容できる。
  論文  参考訳（メタデータ） (2021-12-05T18:18:31Z)
• MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning [72.80896338009579]
  メモリボトルネックは畳み込みニューラルネットワーク(CNN)の設計における不均衡なメモリ分布に起因する。 本稿では,ピークメモリを大幅に削減するパッチ・バイ・パッチ・推論スケジューリングを提案する。 ニューラルアーキテクチャサーチによるプロセスを自動化し、ニューラルアーキテクチャと推論スケジューリングを共同で最適化し、MCUNetV2に導いた。
  論文  参考訳（メタデータ） (2021-10-28T17:58:45Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。