論文の概要: Memory-Efficient Network for Large-scale Video Compressive Sensing
- arxiv url: http://arxiv.org/abs/2103.03089v2
- Date: Fri, 5 Mar 2021 08:52:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-08 11:34:21.584638
- Title: Memory-Efficient Network for Large-scale Video Compressive Sensing
- Title（参考訳）: 大規模ビデオ圧縮センシングのためのメモリ効率ネットワーク
- Authors: Ziheng Cheng, Bo Chen, Guanliang Liu, Hao Zhang, Ruiying Lu, Zhengjue
Wang, Xin Yuan
- Abstract要約: ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
- 参考スコア（独自算出の注目度）: 21.040260603729227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video snapshot compressive imaging (SCI) captures a sequence of video frames
in a single shot using a 2D detector. The underlying principle is that during
one exposure time, different masks are imposed on the high-speed scene to form
a compressed measurement. With the knowledge of masks, optimization algorithms
or deep learning methods are employed to reconstruct the desired high-speed
video frames from this snapshot measurement. Unfortunately, though these
methods can achieve decent results, the long running time of optimization
algorithms or huge training memory occupation of deep networks still preclude
them in practical applications. In this paper, we develop a memory-efficient
network for large-scale video SCI based on multi-group reversible 3D
convolutional neural networks. In addition to the basic model for the grayscale
SCI system, we take one step further to combine demosaicing and SCI
reconstruction to directly recover color video from Bayer measurements.
Extensive results on both simulation and real data captured by SCI cameras
demonstrate that our proposed model outperforms previous state-of-the-art with
less memory and thus can be used in large-scale problems. The code is at
https://github.com/BoChenGroup/RevSCI-net.
- Abstract（参考訳）: video snapshot compressive imaging (sci) は、2d検出器を使って1つのショットで一連のビデオフレームをキャプチャする。
基本原理は、1つの露光時間の間に異なるマスクを高速シーンに課して圧縮測定を行うというものである。
マスクの知識により、このスナップショット測定から所望の高速映像フレームを再構成するために最適化アルゴリズムやディープラーニング手法が用いられる。
残念ながら、これらの手法は良好な結果が得られるが、最適化アルゴリズムの長い実行時間やディープネットワークの巨大なトレーニングメモリ占有は、実用上のアプリケーションではそれらを妨げている。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
グレースケールSCIシステムの基本モデルに加えて、我々はバイエル測定からカラービデオを直接回復するために、復号化とSCI再構築を組み合わせるためにさらに一歩進んでいます。
SCIカメラが捉えたシミュレーションと実データの両方の大規模な結果から,提案したモデルは,メモリの少ない従来モデルよりも優れており,大規模な問題に利用できることを示す。
コードはhttps://github.com/BoChenGroup/RevSCI-netにある。
関連論文リスト
- SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。
時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。
10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
論文 参考訳（メタデータ） (2024-07-22T08:04:09Z) - Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。
本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。
これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
論文 参考訳（メタデータ） (2024-04-08T08:04:44Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳（メタデータ） (2023-12-20T16:14:58Z) - A Simple Recipe for Contrastively Pre-training Video-First Encoders
Beyond 16 Frames [54.90226700939778]
我々は,大規模な画像テキストモデルを浅部時間融合によりビデオに転送する共通パラダイムを構築した。
1)標準ビデオデータセットにおけるビデオ言語アライメントの低下による空間能力の低下と,(2)処理可能なフレーム数のボトルネックとなるメモリ消費の増大である。
論文 参考訳（メタデータ） (2023-12-12T16:10:19Z) - EfficientSCI: Densely Connected Network with Space-time Factorization
for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。
提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文 参考訳（メタデータ） (2023-05-17T07:28:46Z) - GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。
これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。
我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
論文 参考訳（メタデータ） (2022-07-18T06:01:29Z) - Dual-view Snapshot Compressive Imaging via Optical Flow Aided Recurrent
Neural Network [14.796204921975733]
デュアルビュースナップショット圧縮イメージング(SCI)は、2つの視野(FoV)からのビデオを1つのスナップショットでキャプチャすることを目的としている。
既存のモデルベースの復号アルゴリズムでは個々のシーンを再構築することは困難である。
本稿では,2重ビデオSCIシステムのための光フロー支援型リカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-09-11T14:24:44Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z) - MetaSCI: Scalable and Adaptive Reconstruction for Video Compressive
Sensing [21.243762976995544]
ビデオスナップショット圧縮イメージング(SCI)は、ビデオフレームが異なるマスクによってコーディングされ、スナップショット測定に圧縮される有望なシステムです。
MetaSCIと呼ばれるSCI再構築のためのMeta Modulated Convolutional Networkを開発しています。
論文 参考訳（メタデータ） (2021-03-02T14:53:00Z) - Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。
SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。
私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
論文 参考訳（メタデータ） (2021-01-13T00:51:49Z) - A Real-time Action Representation with Temporal Encoding and Deep
Compression [115.3739774920845]
動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。
T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。
提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
論文 参考訳（メタデータ） (2020-06-17T06:30:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。