論文の概要: Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing

• arxiv url: http://arxiv.org/abs/2201.05810v1
• Date: Sat, 15 Jan 2022 09:40:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 17:52:51.859100
• Title: Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing
• Title（参考訳）: フレキシブルビデオ圧縮センシングのための高精度な深部展開再構成ネットワーク「Two-Stage」
• Authors: Siming Zheng, Xiaoyu Yang, Xin Yuan
• Abstract要約: 2段階の深層展開ネットワークがVCSの最先端(SOTA)に繋がることを示す。 我々は、カラーVCSのモデルを拡張して、共同再建と復調を行う。 我々のネットワークは、カラーVCS再構成のためのマスク変調とスケールサイズにも柔軟で、1つのトレーニング済みネットワークを異なるハードウェアシステムに適用できる。
• 参考スコア（独自算出の注目度）: 7.154417066884072
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the reconstruction problem of video compressive sensing (VCS) under the deep unfolding/rolling structure. Yet, we aim to build a flexible and concise model using minimum stages. Different from existing deep unfolding networks used for inverse problems, where more stages are used for higher performance but without flexibility to different masks and scales, hereby we show that a 2-stage deep unfolding network can lead to the state-of-the-art (SOTA) results (with a 1.7dB gain in PSNR over the single stage model, RevSCI) in VCS. The proposed method possesses the properties of adaptation to new masks and ready to scale to large data without any additional training thanks to the advantages of deep unfolding. Furthermore, we extend the proposed model for color VCS to perform joint reconstruction and demosaicing. Experimental results demonstrate that our 2-stage model has also achieved SOTA on color VCS reconstruction, leading to a >2.3dB gain in PSNR over the previous SOTA algorithm based on plug-and-play framework, meanwhile speeds up the reconstruction by >17 times. In addition, we have found that our network is also flexible to the mask modulation and scale size for color VCS reconstruction so that a single trained network can be applied to different hardware systems. The code and models will be released to the public.
• Abstract（参考訳）: 本稿では,ビデオ圧縮センシング(VCS)の深部展開・ローリング構造における再構成問題について考察する。 しかし、我々は最小限のステージを用いて柔軟で簡潔なモデルを構築することを目指している。 逆問題に使用される既存のディープ・アンフォールディング・ネットワークとは異なり、2段階のディープ・アンフォールディング・ネットワークは、VCSにおける2段階のディープ・アンフォールディング・ネットワーク(SOTA)の結果(シングルステージモデルであるRevSCIよりPSNRが1.7dB上昇している)につながる可能性があることを示す。 提案手法は,新しいマスクへの適応特性を持ち,深い展開の利点を活かして,追加のトレーニングをすることなく大規模データへのスケールアップが可能となる。 さらに,提案するカラーvcのモデルを拡張し,共同再構成と復調を行う。 実験の結果、我々の2段階モデルもカラーVCS再構成においてSOTAを達成したことが示され、PSNRの2.3dBは、プラグアンドプレイフレームワークに基づく以前のSOTAアルゴリズムよりも向上した。 さらに,カラーVCS再構成のマスク変調やスケールサイズにも柔軟に対応し,異なるハードウェアシステムに単一のトレーニングネットワークを適用することができることがわかった。 コードとモデルは一般公開される予定だ。

関連論文リスト

• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Sampling-Priors-Augmented Deep Unfolding Network for Robust Video Compressive Sensing [1.7372440481022124]
  本稿では,SPA-DUN(Samping-Priors-Augmented Deep Unfolding Network)を提案する。 最適化にインスパイアされたディープ展開フレームワークでは、軽量で効率的なU-netを使用してモデルを縮小する。 シミュレーションと実データセットの両方の実験により、SPA-DUNは1つのモデルで様々なサンプリング設定に適用可能であるだけでなく、驚くべき効率でSOTAの性能も達成できることが示された。
  論文  参考訳（メタデータ） (2023-07-14T12:05:14Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Structured Sparsity Learning for Efficient Video Super-Resolution [99.1632164448236]
  我々は、ビデオ超解像(VSR)モデルの特性に応じて、構造化スパシティ学習(SSL)と呼ばれる構造化プルーニング手法を開発する。 SSLでは,残差ブロック,リカレントネットワーク,アップサンプリングネットワークなど,VSRモデルのいくつかの重要なコンポーネントに対するプルーニングスキームを設計する。
  論文  参考訳（メタデータ） (2022-06-15T17:36:04Z)
• Residual Multiplicative Filter Networks for Multiscale Reconstruction [24.962697695403037]
  我々は,学習した再構成の周波数サポートをきめ細かな制御で粗大な最適化を可能にする,新しい座標ネットワークアーキテクチャとトレーニング手法を提案する。 これらの修正によって、自然画像への粗大なフィッティングのマルチスケール最適化が実現されることを示す。 次に, 単粒子Creo-EM再構成問題に対する合成データセットのモデル評価を行った。
  論文  参考訳（メタデータ） (2022-06-01T20:16:28Z)
• Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent Neural Network [14.796204921975733]
  デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。 既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。 本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-09-11T14:24:44Z)
• A New Backbone for Hyperspectral Image Reconstruction [90.48427561874402]
  3次元ハイパースペクトル画像(HSI)再構成は、スナップショット圧縮画像の逆過程を指す。 空間/スペクトル不変Residual U-Net、すなわちSSI-ResU-Netを提案する。 SSI-ResU-Net は浮動小数点演算の 77.3% 以上で競合する性能を実現する。
  論文  参考訳（メタデータ） (2021-08-17T16:20:51Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)
• Temporal Convolutional Attention-based Network For Sequence Modeling [13.972755301732656]
  時間畳み込みアテンションベースネットワーク(TCAN)と呼ばれる探索的アーキテクチャを提案する。 TCANは、時間的畳み込みネットワークとアテンションメカニズムを組み合わせる。 我々は bpc/perplexity の最先端の結果をワードレベル PTB では 30.28 ,文字レベル PTB では 1.092 ,WikiText-2 では 9.20 に改善した。
  論文  参考訳（メタデータ） (2020-02-28T03:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。