論文の概要: A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging
- arxiv url: http://arxiv.org/abs/2407.21517v1
- Date: Wed, 31 Jul 2024 10:38:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 12:37:28.344403
- Title: A Simple Low-bit Quantization Framework for Video Snapshot Compressive Imaging
- Title（参考訳）: ビデオスナップショット圧縮イメージングのための簡易低ビット量子化フレームワーク
- Authors: Miao Cao, Lishun Wang, Huan Wang, Xin Yuan,
- Abstract要約: Video Snapshot Compressive Imaging (SCI) は、低速2Dカメラを用いて、スナップショット圧縮計測として高速シーンをキャプチャすることを目的としている。
ディープラーニングベースのアルゴリズムは、計算負荷が重いにもかかわらず、目覚ましいパフォーマンスを達成した。
本稿では,エンド・ツー・エンドのディープラーニングに基づくビデオSCI再構成のための低ビット量子化フレームワーク(Q-SCI)を提案する。
- 参考スコア（独自算出の注目度）: 15.351152482692383
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video Snapshot Compressive Imaging (SCI) aims to use a low-speed 2D camera to capture high-speed scene as snapshot compressed measurements, followed by a reconstruction algorithm to reconstruct the high-speed video frames. State-of-the-art (SOTA) deep learning-based algorithms have achieved impressive performance, yet with heavy computational workload. Network quantization is a promising way to reduce computational cost. However, a direct low-bit quantization will bring large performance drop. To address this challenge, in this paper, we propose a simple low-bit quantization framework (dubbed Q-SCI) for the end-to-end deep learning-based video SCI reconstruction methods which usually consist of a feature extraction, feature enhancement, and video reconstruction module. Specifically, we first design a high-quality feature extraction module and a precise video reconstruction module to extract and propagate high-quality features in the low-bit quantized model. In addition, to alleviate the information distortion of the Transformer branch in the quantized feature enhancement module, we introduce a shift operation on the query and key distributions to further bridge the performance gap. Comprehensive experimental results manifest that our Q-SCI framework can achieve superior performance, e.g., 4-bit quantized EfficientSCI-S derived by our Q-SCI framework can theoretically accelerate the real-valued EfficientSCI-S by 7.8X with only 2.3% performance gap on the simulation testing datasets. Code is available at https://github.com/mcao92/QuantizedSCI.
- Abstract（参考訳）: Video Snapshot Compressive Imaging (SCI)は、低速2Dカメラを使用して、スナップショット圧縮された計測結果として高速シーンをキャプチャし、次に高速ビデオフレームを再構築する再構成アルゴリズムを使用する。
State-of-the-art(SOTA)ディープラーニングベースのアルゴリズムは、計算負荷が重いにもかかわらず、優れたパフォーマンスを実現している。
ネットワーク量子化は計算コストを削減するための有望な方法である。
しかし、直接の低ビット量子化は大きな性能低下をもたらす。
この課題に対処するため,本稿では,機能抽出,機能拡張,ビデオ再構成モジュールで構成される,エンドツーエンドの深層学習に基づくビデオSCI再構成のための,シンプルな低ビット量子化フレームワーク(dubed Q-SCI)を提案する。
具体的には、まず高品質な特徴抽出モジュールと高精度なビデオ再構成モジュールを設計し、低ビット量子化モデルで高品質な特徴を抽出し、伝達する。
さらに、量子化機能拡張モジュールにおけるTransformerブランチの情報歪みを軽減するために、クエリとキー分布のシフト操作を導入し、パフォーマンスギャップをさらに橋渡しする。
その結果,Q-SCIフレームワークは,Q-SCIフレームワークから得られた4ビット量子化効率SCI-Sにより,実数値化効率SCI-Sを7.8Xで理論的に高速化することができ,シミュレーションテストデータセットの性能差は2.3%に留まった。
コードはhttps://github.com/mcao92/QuantizedSCIで入手できる。
関連論文リスト
- PassionSR: Post-Training Quantization with Adaptive Scale in One-Step Diffusion based Image Super-Resolution [87.89013794655207]
拡散に基づく画像超解像(SR)モデルでは、複数のデノナイジングステップのコストで優れた性能を示す。
本稿では,一段階拡散(OSD)画像SR,PassionSRにおける適応スケールの学習後量子化手法を提案する。
我々のPassionSRは、画像SRの最近の先進的な低ビット量子化法に対して大きな利点がある。
論文 参考訳（メタデータ） (2024-11-26T04:49:42Z) - Compression-Realized Deep Structural Network for Video Quality Enhancement [78.13020206633524]
本稿では,圧縮ビデオの品質向上の課題に焦点をあてる。
既存の手法のほとんどは、圧縮コーデック内での事前処理を最適に活用するための構造設計を欠いている。
新しいパラダイムは、より意識的な品質向上プロセスのために緊急に必要である。
論文 参考訳（メタデータ） (2024-05-10T09:18:17Z) - Hierarchical Frequency-based Upsampling and Refining for Compressed Video Quality Enhancement [14.653248860008981]
圧縮ビデオ品質向上のための階層型周波数ベースアップサンプリング・精製ニューラルネットワーク(HFUR)を提案する。
ImpFreqUpは暗黙のDCT変換によって引き起こされたDCTドメインを利用して、粗い粒度転送によってDCTドメインの損失を正確に再構築する。
HIRを導入して、スケール間の相互協力と情報補償を容易にし、特徴マップをさらに洗練し、最終的な出力の視覚的品質を向上する。
論文 参考訳（メタデータ） (2024-03-18T08:13:26Z) - VNVC: A Versatile Neural Video Coding Framework for Efficient
Human-Machine Vision [59.632286735304156]
コード化された表現をピクセルに復号することなく直接拡張・解析することがより効率的である。
再構成と直接拡張/分析の両方をサポートするために,コンパクト表現の学習を目標とする汎用型ニューラルビデオ符号化(VNVC)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T03:04:57Z) - Exploring Effective Mask Sampling Modeling for Neural Image Compression [171.35596121939238]
既存のニューラルイメージ圧縮手法の多くは、空間的冗長性を排除するために、ハイパープライアモデルやコンテキストモデルからのサイド情報に依存している。
近年の自然言語処理と高次視覚のための自己教師付き学習手法におけるマスクサンプリングモデルに着想を得て,ニューラル画像圧縮のための新しい事前学習戦略を提案する。
提案手法は,最先端画像圧縮法と比較して計算複雑性の低い競合性能を実現する。
論文 参考訳（メタデータ） (2023-06-09T06:50:20Z) - EfficientSCI: Densely Connected Network with Space-time Factorization
for Large-scale Video Snapshot Compressive Imaging [6.8372546605486555]
圧縮率の高いUHDカラービデオは,PSNRが32dB以上である単一エンドツーエンドのディープラーニングモデルを用いて,スナップショット2次元計測から再構成可能であることを示す。
提案手法は,従来のSOTAアルゴリズムよりも性能が優れ,リアルタイム性能が向上した。
論文 参考訳（メタデータ） (2023-05-17T07:28:46Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳（メタデータ） (2021-06-30T01:09:24Z) - Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。
本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
論文 参考訳（メタデータ） (2021-03-04T15:14:58Z) - Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。
SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。
私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
論文 参考訳（メタデータ） (2021-01-13T00:51:49Z) - Modeling Lost Information in Lossy Image Compression [72.69327382643549]
ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。
Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-22T04:04:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。