論文の概要: Plug-and-Play Algorithms for Video Snapshot Compressive Imaging
- arxiv url: http://arxiv.org/abs/2101.04822v1
- Date: Wed, 13 Jan 2021 00:51:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 07:54:27.371269
- Title: Plug-and-Play Algorithms for Video Snapshot Compressive Imaging
- Title（参考訳）: ビデオスナップショット圧縮イメージングのためのプラグアンドプレイアルゴリズム
- Authors: Xin Yuan, Yang Liu, Jinli Suo, Fr\'edo Durand, Qionghai Dai
- Abstract要約: 低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。
SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。
私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
- 参考スコア（独自算出の注目度）: 41.818167109996885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the reconstruction problem of video snapshot compressive imaging
(SCI), which captures high-speed videos using a low-speed 2D sensor (detector).
The underlying principle of SCI is to modulate sequential high-speed frames
with different masks and then these encoded frames are integrated into a
snapshot on the sensor and thus the sensor can be of low-speed. On one hand,
video SCI enjoys the advantages of low-bandwidth, low-power and low-cost. On
the other hand, applying SCI to large-scale problems (HD or UHD videos) in our
daily life is still challenging and one of the bottlenecks lies in the
reconstruction algorithm. Exiting algorithms are either too slow (iterative
optimization algorithms) or not flexible to the encoding process (deep learning
based end-to-end networks). In this paper, we develop fast and flexible
algorithms for SCI based on the plug-and-play (PnP) framework. In addition to
the PnP-ADMM method, we further propose the PnP-GAP (generalized alternating
projection) algorithm with a lower computational workload. We first employ the
image deep denoising priors to show that PnP can recover a UHD color video with
30 frames from a snapshot measurement. Since videos have strong temporal
correlation, by employing the video deep denoising priors, we achieve a
significant improvement in the results. Furthermore, we extend the proposed PnP
algorithms to the color SCI system using mosaic sensors, where each pixel only
captures the red, green or blue channels. A joint reconstruction and
demosaicing paradigm is developed for flexible and high quality reconstruction
of color video SCI systems. Extensive results on both simulation and real
datasets verify the superiority of our proposed algorithm.
- Abstract（参考訳）: 本稿では,低速2次元センサ(検出器)を用いて高速映像を撮影するビデオスナップショット圧縮画像(SCI)の再構成問題を考察する。
SCIの基本的な原理は、異なるマスクでシーケンシャルな高速フレームを変調し、次にこれらの符号化されたフレームをセンサー上のスナップショットに統合することで、センサーを低速にすることができる。
一方、ビデオSCIは低帯域幅、低消費電力、低コストの利点を享受している。
一方、私たちの日常生活における大規模問題(HDやUHDビデオ)にSCIを適用することは依然として困難であり、そのボトルネックの1つは再構築アルゴリズムにある。
出口アルゴリズムは遅すぎる(反復最適化アルゴリズム)か、エンコーディングプロセス(ディープラーニングベースのエンドツーエンドネットワーク)に柔軟性がない。
本稿では,プラグイン・アンド・プレイ(PnP)フレームワークに基づく高速かつ柔軟なSCIアルゴリズムを開発する。
PnP-ADMM法に加えて,計算負荷の少ないPnP-GAPアルゴリズムを提案する。
まず,画像の奥行き変化に先立って,pnpが30フレームのuhdカラー映像をスナップショット計測から復元できることを示す。
ビデオは時間的相関が強いので,ビデオの深いデノイジングプリミティブを用いることで,結果の大幅な改善を実現する。
さらに,提案したPnPアルゴリズムをモザイクセンサを用いたカラーSCIシステムに拡張し,各画素が赤,緑,青のチャネルのみをキャプチャする。
カラービデオSCIシステムのフレキシブルで高品質な再構成を実現するために,共同再構成・復調パラダイムを開発した。
シミュレーションと実データの両方の広範な結果から,提案アルゴリズムの優越性が検証された。
関連論文リスト
- Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。
本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。
これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
論文 参考訳（メタデータ） (2024-04-08T08:04:44Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - EfficientSCI: Densely Connected Network with Space-time Factorization
for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。
提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文 参考訳（メタデータ） (2023-05-17T07:28:46Z) - Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。
本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-09-18T00:21:17Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z) - Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
論文 参考訳（メタデータ） (2021-03-04T15:14:58Z) - Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。
まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。
次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
論文 参考訳（メタデータ） (2020-08-20T20:01:59Z) - Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging [43.50482493611073]
スナップショットイメージング(SCI)は、高次元(通常は3D)画像を1枚のスナップショットで2Dセンサー(検出器)でキャプチャすることを目的としている。
SCIをHD(UHD)ビデオに日々の生活に応用することは依然として難しい。
本稿では,プラグプレイフレームワークに基づく高速フレキシブルなSCIアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-30T17:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。