論文の概要: Sparse Transformer for Ultra-sparse Sampled Video Compressive Sensing

• arxiv url: http://arxiv.org/abs/2509.08228v1
• Date: Wed, 10 Sep 2025 02:03:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.287782
• Title: Sparse Transformer for Ultra-sparse Sampled Video Compressive Sensing
• Title（参考訳）: 超スパースサンプリング圧縮センシング用スパーストランス
• Authors: Miao Cao, Siming Zheng, Lishun Wang, Ziyang Chen, David Brady, Xin Yuan,
• Abstract要約: デジタルカメラは1ピクセルあたり0.1マイクロジュールを消費し、ビデオをキャプチャしてエンコードする。 我々は,各空間位置において,サブフレームを1に設定したUltra-Sparse Smpling(USS)方式を提案する。 次に,DMD(Digital Micro-mirror Device)エンコーディングシステムを構築し,USS戦略の有効性を検証する。
• 参考スコア（独自算出の注目度）: 23.788589833081957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Digital cameras consume ~0.1 microjoule per pixel to capture and encode video, resulting in a power usage of ~20W for a 4K sensor operating at 30 fps. Imagining gigapixel cameras operating at 100-1000 fps, the current processing model is unsustainable. To address this, physical layer compressive measurement has been proposed to reduce power consumption per pixel by 10-100X. Video Snapshot Compressive Imaging (SCI) introduces high frequency modulation in the optical sensor layer to increase effective frame rate. A commonly used sampling strategy of video SCI is Random Sampling (RS) where each mask element value is randomly set to be 0 or 1. Similarly, image inpainting (I2P) has demonstrated that images can be recovered from a fraction of the image pixels. Inspired by I2P, we propose Ultra-Sparse Sampling (USS) regime, where at each spatial location, only one sub-frame is set to 1 and all others are set to 0. We then build a Digital Micro-mirror Device (DMD) encoding system to verify the effectiveness of our USS strategy. Ideally, we can decompose the USS measurement into sub-measurements for which we can utilize I2P algorithms to recover high-speed frames. However, due to the mismatch between the DMD and CCD, the USS measurement cannot be perfectly decomposed. To this end, we propose BSTFormer, a sparse TransFormer that utilizes local Block attention, global Sparse attention, and global Temporal attention to exploit the sparsity of the USS measurement. Extensive results on both simulated and real-world data show that our method significantly outperforms all previous state-of-the-art algorithms. Additionally, an essential advantage of the USS strategy is its higher dynamic range than that of the RS strategy. Finally, from the application perspective, the USS strategy is a good choice to implement a complete video SCI system on chip due to its fixed exposure time.
• Abstract（参考訳）: デジタルカメラは1ピクセルあたり0.1マイクロジュールを消費し、ビデオをキャプチャしてエンコードする。 100-1000fpsで動作するギガピクセルカメラを想像すると、現在の処理モデルは持続不可能だ。 これを解決するために、物理層圧縮測定法が提案され、画素あたりの消費電力を10-100X削減した。 Video Snapshot Compressive Imaging (SCI)は、光センサー層に周波数変調を導入し、フレームレートを効果的に向上する。 ビデオSCIの一般的なサンプリング戦略はランダムサンプリング(RS)であり、各マスク要素の値を0または1にランダムに設定する。 同様に、画像インパインティング(I2P)は、画像画素のごく一部から画像を取り出すことができることを示した。 Inspireed by I2P, we propose Ultra-Sparse Smpling (USS) regime, where each space location, is only one sub-frame is set to 1, and all all are set to 0。 次に,DMD(Digital Micro-mirror Device)エンコーディングシステムを構築し,USS戦略の有効性を検証する。 理想的には、I2Pアルゴリズムを用いて高速フレームの復元が可能なサブ計測に、USS測定を分解することができる。 しかし、DMDとCCDのミスマッチのため、USSの測定は完全に分解することはできない。 そこで本研究では,ローカルブロック注意,グローバルスパース注意,グローバルテンポラルアテンションを利用したスパーストランスフォーマーであるBSTFormerを提案する。 シミュレーションデータと実世界データの両方の大規模な結果から,本手法は従来の最先端アルゴリズムよりも大幅に優れていたことが分かる。 さらに、USS戦略の重要な利点は、RS戦略よりも高いダイナミックレンジである。 最後に、アプリケーションの観点から見て、USS戦略は、固定露光時間のためにチップ上に完全なビデオSCIシステムを実装するのに最適である。

関連論文リスト

• bit2bit: 1-bit quanta video reconstruction via self-supervised photon prediction [57.199618102578576]
  疎二分量時間画像データから高画質の画像スタックを元の解像度で再構成する新しい方法であるbit2bitを提案する。 Poisson denoisingの最近の研究に触発されて、スパースバイナリ光子データから高密度な画像列を生成するアルゴリズムを開発した。 本研究では,様々な課題の画像条件下でのSPADの高速映像を多種多種に含む新しいデータセットを提案する。
  論文  参考訳（メタデータ） (2024-10-30T17:30:35Z)
• Deep Optics for Video Snapshot Compressive Imaging [10.830072985735175]
  ビデオ・スナップショット・イメージング(SCI)は、2D検出器の1枚のショットだけでビデオ・フレームのシーケンスをキャプチャすることを目的としている。 本稿では,マスクと再構成ネットワークを協調的に最適化する枠組みを提案する。 これは、現実世界のビデオSCIのマイルストーンだ、と私たちは信じている。
  論文  参考訳（メタデータ） (2024-04-08T08:04:44Z)
• Privacy-Enhancing Optical Embeddings for Lensless Classification [17.169529483306103]
  私たちは、低価格のLCDとRaspberry Piコンポーネントからプロトタイプを作り、合計で約100USDのコストで開発しています。 提案手法は, 変動マスクパターンを用いて, システムに逆らおうとする敵を阻止する方法を示す。
  論文  参考訳（メタデータ） (2022-11-23T11:12:21Z)
• FOVEA: Foveated Image Magnification for Autonomous Navigation [53.69803081925454]
  入力キャンバスを小さく保ちながら、ある領域を弾性的に拡大する注意的アプローチを提案する。 提案手法は,高速R-CNNより高速かつ微調整の少ない検出APを高速化する。 Argoverse-HD と BDD100K の自律走行データセットでは,提案手法が標準の高速 R-CNN を超越した検出APを微調整なしで促進することを示す。
  論文  参考訳（メタデータ） (2021-08-27T03:07:55Z)
• 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
  高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。 既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
  論文  参考訳（メタデータ） (2021-06-30T01:09:24Z)
• Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
  提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。 tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。 この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
  論文  参考訳（メタデータ） (2021-04-06T22:42:34Z)
• Memory-Efficient Network for Large-scale Video Compressive Sensing [21.040260603729227]
  ビデオスナップショットイメージング(SCI)は、2D検出器を用いて1枚のショットで一連のビデオフレームをキャプチャする。 本稿では,マルチグループ可逆3次元畳み込みニューラルネットワークに基づく大規模映像SCIのためのメモリ効率の良いネットワークを開発する。
  論文  参考訳（メタデータ） (2021-03-04T15:14:58Z)
• Plug-and-Play Algorithms for Video Snapshot Compressive Imaging [41.818167109996885]
  低速2dセンサ(検出器)を用いたスナップショット映像撮影(sci)の再構成問題を考える。 SCIの基本原則は、異なるマスクを持つフレームを変調し、エンコードされたフレームをセンサーのスナップショットに統合することです。 私たちの日常生活で大規模な問題(HDまたはUHDビデオ)にSCIを適用することは、まだ1つのボトルネックが再構築アルゴリズムにあります。
  論文  参考訳（メタデータ） (2021-01-13T00:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。