論文の概要: Memory-Efficient Network for Large-scale Video Compressive Sensing
- arxiv url: http://arxiv.org/abs/2103.03089v1
- Date: Thu, 4 Mar 2021 15:14:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 14:47:53.072851
- Title: Memory-Efficient Network for Large-scale Video Compressive Sensing
- Title(参考訳): 大規模ビデオ圧縮センシングのためのメモリ効率ネットワーク
- Authors: Ziheng Cheng, Bo Chen, Guanliang Liu, Hao Zhang, Ruiying Lu, Zhengjue
Wang, Xin Yuan
- Abstract要約: ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
- 参考スコア(独自算出の注目度): 21.040260603729227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video snapshot compressive imaging (SCI) captures a sequence of video frames
in a single shot using a 2D detector. The underlying principle is that during
one exposure time, different masks are imposed on the high-speed scene to form
a compressed measurement. With the knowledge of masks, optimization algorithms
or deep learning methods are employed to reconstruct the desired high-speed
video frames from this snapshot measurement. Unfortunately, though these
methods can achieve decent results, the long running time of optimization
algorithms or huge training memory occupation of deep networks still preclude
them in practical applications. In this paper, we develop a memory-efficient
network for large-scale video SCI based on multi-group reversible 3D
convolutional neural networks. In addition to the basic model for the grayscale
SCI system, we take one step further to combine demosaicing and SCI
reconstruction to directly recover color video from Bayer measurements.
Extensive results on both simulation and real data captured by SCI cameras
demonstrate that our proposed model outperforms previous state-of-the-art with
less memory and thus can be used in large-scale problems. The code is at
https://github.com/BoChenGroup/RevSCI-net.
- Abstract(参考訳): video snapshot compressive imaging (sci) は、2d検出器を使って1つのショットで一連のビデオフレームをキャプチャする。
基本原理は、1つの露光時間の間に異なるマスクを高速シーンに課して圧縮測定を行うというものである。
マスクの知識により、このスナップショット測定から所望の高速映像フレームを再構成するために最適化アルゴリズムやディープラーニング手法が用いられる。
残念ながら、これらの手法は良好な結果が得られるが、最適化アルゴリズムの長い実行時間やディープネットワークの巨大なトレーニングメモリ占有は、実用上のアプリケーションではそれらを妨げている。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
グレースケールSCIシステムの基本モデルに加えて、我々はバイエル測定からカラービデオを直接回復するために、復号化とSCI再構築を組み合わせるためにさらに一歩進んでいます。
SCIカメラが捉えたシミュレーションと実データの両方の大規模な結果から,提案したモデルは,メモリの少ない従来モデルよりも優れており,大規模な問題に利用できることを示す。
コードはhttps://github.com/BoChenGroup/RevSCI-netにある。
関連論文リスト
- A Simple Recipe for Contrastively Pre-training Video-First Encoders
Beyond 16 Frames [54.90226700939778]
我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。
1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
論文 参考訳(メタデータ) (2023-12-12T16:10:19Z) - EfficientSCI: Densely Connected Network with Space-time Factorization
for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。
提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文 参考訳(メタデータ) (2023-05-17T07:28:46Z) - Event-guided Multi-patch Network with Self-supervision for Non-uniform
Motion Deblurring [113.96237446327795]
本稿では,ぼやけた画像やビデオを扱うための,イベント誘導型深層階層型マルチパッチネットワークを提案する。
また、ビデオ内の複雑なぼやけに対処するために、動画に含まれる動きの手がかりを利用するイベント誘導アーキテクチャを提案する。
我々のMPNは、現在のマルチスケール手法に比べて40倍高速なランタイムでGoProとVideoDeblurringデータセットの最先端を達成しています。
論文 参考訳(メタデータ) (2023-02-14T15:58:00Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳(メタデータ) (2022-07-18T06:01:29Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-09-11T14:24:44Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳(メタデータ) (2021-06-30T01:09:24Z) - Reinforcement Learning for Adaptive Video Compressive Sensing [23.143370657334447]
映像圧縮センシングに強化学習を適用し,圧縮比を適応させる。
video snapshot compressive imaging (sci) は低速カメラを用いて高速ビデオを撮影する。
論文 参考訳(メタデータ) (2021-05-18T00:01:27Z) - MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive
Sensing [21.243762976995544]
ビデオスナップショット圧縮イメージング(SCI)は、ビデオフレームが異なるマスクによってコーディングされ、スナップショット測定に圧縮される有望なシステムです。
MetaSCIと呼ばれるSCI再構築のためのMeta Modulated Convolutional Networkを開発しています。
論文 参考訳(メタデータ) (2021-03-02T14:53:00Z) - Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。
SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。
私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
論文 参考訳(メタデータ) (2021-01-13T00:51:49Z) - CNNs for JPEGs: A Study in Computational Cost [49.97673761305336]
畳み込みニューラルネットワーク(CNN)は過去10年間で驚くべき進歩を遂げてきた。
CNNはRGBピクセルから直接データの堅牢な表現を学習することができる。
近年,圧縮領域から直接学習できる深層学習手法が注目されている。
論文 参考訳(メタデータ) (2020-12-26T15:00:10Z) - A Real-time Action Representation with Temporal Encoding and Deep
Compression [115.3739774920845]
動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。
T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。
提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
論文 参考訳(メタデータ) (2020-06-17T06:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。