Fugu-MT 論文翻訳(概要): Towards Real-time Video Compressive Sensing on Mobile Devices

論文の概要: Towards Real-time Video Compressive Sensing on Mobile Devices

arxiv url: http://arxiv.org/abs/2408.07530v1
Date: Wed, 14 Aug 2024 13:03:31 GMT
ステータス: 処理完了
システム内更新日: 2024-08-15 13:14:29.207902
Title: Towards Real-time Video Compressive Sensing on Mobile Devices
Title（参考訳）: モバイル端末におけるリアルタイムビデオ圧縮センシングを目指して
Authors: Miao Cao, Lishun Wang, Huan Wang, Guoqing Wang, Xin Yuan,
Abstract要約: Video Snapshot Compressive Imaging (SCI)は、低速2Dカメラを使用して、スナップショット圧縮計測として高速シーンをキャプチャする。本稿では,モバイル機器上でリアルタイムに動作可能なビデオSCI再構成手法であるMobileSCIを提案する。
参考スコア（独自算出の注目度）: 18.96331666620252
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Video Snapshot Compressive Imaging (SCI) uses a low-speed 2D camera to capture high-speed scenes as snapshot compressed measurements, followed by a reconstruction algorithm to retrieve the high-speed video frames. The fast evolving mobile devices and existing high-performance video SCI reconstruction algorithms motivate us to develop mobile reconstruction methods for real-world applications. Yet, it is still challenging to deploy previous reconstruction algorithms on mobile devices due to the complex inference process, let alone real-time mobile reconstruction. To the best of our knowledge, there is no video SCI reconstruction model designed to run on the mobile devices. Towards this end, in this paper, we present an effective approach for video SCI reconstruction, dubbed MobileSCI, which can run at real-time speed on the mobile devices for the first time. Specifically, we first build a U-shaped 2D convolution-based architecture, which is much more efficient and mobile-friendly than previous state-of-the-art reconstruction methods. Besides, an efficient feature mixing block, based on the channel splitting and shuffling mechanisms, is introduced as a novel bottleneck block of our proposed MobileSCI to alleviate the computational burden. Finally, a customized knowledge distillation strategy is utilized to further improve the reconstruction quality. Extensive results on both simulated and real data show that our proposed MobileSCI can achieve superior reconstruction quality with high efficiency on the mobile devices. Particularly, we can reconstruct a 256 X 256 X 8 snapshot compressed measurement with real-time performance (about 35 FPS) on an iPhone 15. Code is available at https://github.com/mcao92/MobileSCI.
Abstract（参考訳）: Video Snapshot Compressive Imaging (SCI)は、低速2Dカメラを使用して、スナップショット圧縮された計測として高速シーンをキャプチャし、次に高速ビデオフレームを復元する再構成アルゴリズムを用いる。高速に進化するモバイルデバイスと既存の高性能ビデオSCI再構成アルゴリズムは、実世界のアプリケーションのためのモバイル再構築手法を開発する動機となっている。しかし、複雑な推論プロセスのため、モバイル機器に以前の再構築アルゴリズムをデプロイすることは、もちろん困難である。我々の知る限り、モバイルデバイス上で動くように設計されたビデオSCI再構成モデルは存在しない。そこで本論文では,モバイルSCI(MobileSCI)と呼ばれる,モバイル機器上でリアルタイムに動作可能なビデオSCI再構成手法を提案する。具体的には、まずU字型の2D畳み込み型アーキテクチャを構築し、従来の最先端の再構築手法よりもずっと効率的でモバイルフレンドリーである。また,チャネル分割とシャッフル機構に基づく効率的な機能混合ブロックを,提案したMobileSCIの新たなボトルネックブロックとして導入し,計算負荷を軽減する。最後に、再構築品質をさらに向上させるために、カスタマイズされた知識蒸留戦略を利用する。シミュレーションデータと実データの両方の大規模な結果から,提案したMobileSCIは,モバイルデバイス上で高い効率で,より優れた再構築品質を実現することができることが示された。特に、256 X 256 X 8の圧縮されたスナップショットをiPhone 15でリアルタイムのパフォーマンス(約35FPS)で再構築することができる。コードはhttps://github.com/mcao92/MobileSCIで入手できる。

関連論文リスト

V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians [53.614560799043545]
V3 (Viewing Volumetric Videos) は,ダイナミックガウスのストリーミングによる高品質なモバイルレンダリングを実現する,新たなアプローチである。私たちの重要なイノベーションは、ダイナミックな3DGSを2Dビデオと見なすことで、ハードウェアビデオコーデックの使用を促進することです。モバイル端末でダイナミックなガウシアンをストリームする最初の手段として、私たちのコンパニオンプレーヤーは、前例のないボリュームビデオ体験をユーザに提供します。
論文参考訳（メタデータ） (2024-09-20T16:54:27Z)
A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging [15.351152482692383]
Video Snapshot Compressive Imaging (SCI) は、低速2Dカメラを用いて、スナップショット圧縮計測として高速シーンをキャプチャすることを目的としている。ディープラーニングベースのアルゴリズムは、計算負荷が重いにもかかわらず、目覚ましいパフォーマンスを達成した。本稿では,エンド・ツー・エンドのディープラーニングに基づくビデオSCI再構成のための低ビット量子化フレームワーク(Q-SCI)を提案する。
論文参考訳（メタデータ） (2024-07-31T10:38:11Z)
Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
論文参考訳（メタデータ） (2024-04-08T08:04:44Z)
Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video Synthesis [69.83405335645305]
映像生成領域に画像モデルの進化をもたらすことによって、動きの忠実度、視覚的品質、スケーラビリティを損なうことが議論されている。この作業では、これらの課題に体系的に対処するビデオファーストモデルであるSnap Videoを構築します。画像生成の背後にあるワークホースであるU-Netは、ビデオ生成時に低スケールであり、計算オーバーヘッドがかなり必要であることを示す。これにより、初めて数十億のパラメータを持つテキスト・ビデオモデルを効率的にトレーニングし、多数のベンチマークで最先端の結果に到達し、はるかに高い品質、時間的一貫性、動きの複雑さの動画を生成することができる。
論文参考訳（メタデータ） (2024-02-22T18:55:08Z)
VNVC: A Versatile Neural Video Coding Framework for Efficient Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-19T03:04:57Z)
EfficientSCI: Densely Connected Network with Space-time Factorization for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文参考訳（メタデータ） (2023-05-17T07:28:46Z)
Real-Time Image Demoireing on Mobile Devices [59.59997851375429]
本稿では,モバイルデバイス上でのリアルタイム展開に向けた動的復号化高速化手法(DDA)を提案する。私たちの刺激は、モアレパターンが画像全体に不均衡に分散されることが、シンプルで普遍的な事実に起因しています。提案手法は推定時間を劇的に短縮し,モバイルデバイス上でリアルタイムな画像復調を実現する。
論文参考訳（メタデータ） (2023-02-04T15:42:42Z)
Perceptual Image Enhancement for Smartphone Real-Time Applications [60.45737626529091]
本稿では,知覚的画像強調のための軽量ネットワークLPIENetを提案する。我々のモデルは、ノイズアーティファクト、回折アーティファクト、ぼかし、HDR過剰露光を扱うことができる。我々のモデルは、中級商用スマートフォンで1秒未満で2K解像度画像を処理することができる。
論文参考訳（メタデータ） (2022-10-24T19:16:33Z)
10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文参考訳（メタデータ） (2021-06-30T01:09:24Z)
Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
論文参考訳（メタデータ） (2021-03-04T15:14:58Z)
Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。 SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
論文参考訳（メタデータ） (2021-01-13T00:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。