論文の概要: Snapshot Compressed Imaging Based Single-Measurement Computer Vision for Videos
- arxiv url: http://arxiv.org/abs/2501.15122v1
- Date: Sat, 25 Jan 2025 08:20:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 13:59:14.269277
- Title: Snapshot Compressed Imaging Based Single-Measurement Computer Vision for Videos
- Title(参考訳): スナップショット圧縮画像を用いたビデオ用シングル計測コンピュータビジョン
- Authors: Fengpu Pan, Jiangtao Wen, Yuxing Han,
- Abstract要約: スナップショット画像(SCI)は,低帯域・低消費電力で高速映像を撮影するための有望な技術である。
SCIはまた、低照度光子制限と低信号対雑音比画像条件の課題に直面している。
本稿では,STFormer アーキテクチャをバックボーンとして用いた新しい圧縮Denoising Autoencoder (CompDAE) を提案する。
- 参考スコア(独自算出の注目度): 12.322783570127756
- License:
- Abstract: Snapshot compressive imaging (SCI) is a promising technique for capturing high-speed video at low bandwidth and low power, typically by compressing multiple frames into a single measurement. However, similar to traditional CMOS image sensor based imaging systems, SCI also faces challenges in low-lighting photon-limited and low-signal-to-noise-ratio image conditions. In this paper, we propose a novel Compressive Denoising Autoencoder (CompDAE) using the STFormer architecture as the backbone, to explicitly model noise characteristics and provide computer vision functionalities such as edge detection and depth estimation directly from compressed sensing measurements, while accounting for realistic low-photon conditions. We evaluate the effectiveness of CompDAE across various datasets and demonstrated significant improvements in task performance compared to conventional RGB-based methods. In the case of ultra-low-lighting (APC $\leq$ 20) while conventional methods failed, the proposed algorithm can still maintain competitive performance.
- Abstract(参考訳): スナップショット圧縮画像(SCI)は、通常、複数のフレームを1つの計測単位に圧縮することで、低帯域と低消費電力で高速映像をキャプチャするための有望な技術である。
しかし、従来のCMOSイメージセンサベースイメージングシステムと同様に、SCIは低照度光子制限と低信号対雑音比画像条件の課題にも直面している。
本稿では,STFormerアーキテクチャをバックボーンとした新しい圧縮デノイングオートエンコーダ(CompDAE)を提案し,実測値からエッジ検出や深度推定などのコンピュータビジョン機能を実現するとともに,現実的な低光度条件を考慮に入れた。
各種データセットにおけるCompDAEの有効性を評価し,従来のRGB手法と比較してタスク性能が大幅に向上した。
超低照度(APC $\leq$20)の場合、従来の手法は失敗するが、提案アルゴリズムは競争性能を維持することができる。
関連論文リスト
- Enhanced Confocal Laser Scanning Microscopy with Adaptive Physics Informed Deep Autoencoders [0.0]
共焦点レーザー走査顕微鏡の限界に対処する物理インフォームド・ディープラーニング・フレームワークを提案する。
このモデルは、畳み込み層と転置畳み込み層を用いて、ノイズの多い入力から高忠実度画像を再構成する。
論文 参考訳(メタデータ) (2025-01-24T18:32:34Z) - Rethinking High-speed Image Reconstruction Framework with Spike Camera [48.627095354244204]
スパイクカメラは連続的なスパイクストリームを生成し、従来のRGBカメラよりも低帯域幅でダイナミックレンジの高速シーンをキャプチャする。
従来のトレーニングパラダイムを超える新しいスパイク・ツー・イメージ再構築フレームワークであるSpikeCLIPを導入する。
実世界の低照度データセットに対する実験により、SpikeCLIPはテクスチャの詳細と回復した画像の輝度バランスを大幅に向上することが示された。
論文 参考訳(メタデータ) (2025-01-08T13:00:17Z) - Cross-Scan Mamba with Masked Training for Robust Spectral Imaging [51.557804095896174]
本研究では,空間スペクトルSSMを用いたクロススキャンマンバ(CS-Mamba)を提案する。
実験の結果, CS-Mambaは最先端の性能を達成し, マスク付きトレーニング手法によりスムーズな特徴を再構築し, 視覚的品質を向上させることができた。
論文 参考訳(メタデータ) (2024-08-01T15:14:10Z) - Hybrid Training of Denoising Networks to Improve the Texture Acutance of Digital Cameras [3.400056739248712]
本稿では,自然画像と合成画像の両方に依存した画像復元ニューラルネットワークの混合訓練手法を提案する。
提案手法の有効性は,RGB画像のノイズ化とRAW画像のフル開発の両方において実証され,実際の撮像装置のテクスチャ精度の体系的改善への道のりが開かれた。
論文 参考訳(メタデータ) (2024-02-20T10:47:06Z) - Transferable Learned Image Compression-Resistant Adversarial Perturbations [66.46470251521947]
敵対的攻撃は容易に画像分類システムを破壊し、DNNベースの認識タスクの脆弱性を明らかにする。
我々は、学習した画像圧縮機を前処理モジュールとして利用する画像分類モデルをターゲットにした新しいパイプラインを提案する。
論文 参考訳(メタデータ) (2024-01-06T03:03:28Z) - LWGNet: Learned Wirtinger Gradients for Fourier Ptychographic Phase
Retrieval [14.588976801396576]
本稿では,フォワードイメージングシステムの知識と深層データ駆動ネットワークを組み合わせたハイブリッドモデル駆動残差ネットワークを提案する。
従来のアンローリング技術とは異なり、LWGNetは従来のディープ・ラーニング・テクニックよりも少ない段数しか使用していない。
この低ビット深度・低コストセンサの性能向上は、FPM撮像装置のコストを大幅に下げる可能性がある。
論文 参考訳(メタデータ) (2022-08-08T17:22:54Z) - Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination
Conditions via Fourier Adversarial Networks [35.532434169432776]
照明とノイズ除去の逐次的バランスをとる軽量な2段階画像強調アルゴリズムを提案する。
また、異なる照明条件下での一貫した画像強調のためのフーリエスペクトルベース対向フレームワーク(AFNet)を提案する。
また,定量的および定性的な評価に基づいて,画像強調技術が共通認識タスクの性能に与える影響について検討した。
論文 参考訳(メタデータ) (2022-04-04T18:48:51Z) - Neural JPEG: End-to-End Image Compression Leveraging a Standard JPEG
Encoder-Decoder [73.48927855855219]
本稿では,エンコーダとデコーダの両端に内在するニューラル表現を強化することで,符号化性能の向上を図るシステムを提案する。
実験により,提案手法はJPEGに対する速度歪み性能を,様々な品質指標で改善することを示した。
論文 参考訳(メタデータ) (2022-01-27T20:20:03Z) - Burst Imaging for Light-Constrained Structure-From-Motion [4.125187280299246]
低光環境下で得られた画像から3次元再構成を支援する画像処理技術を開発した。
バースト写真に基づく本手法は,短時間露光画像のバースト内における画像登録に直接的手法を用いる。
本手法は,低光環境下でのロボットの動作を可能にするための重要なステップであり,地中鉱山や夜間作業などの環境におけるロボットの動作に応用できる可能性がある。
論文 参考訳(メタデータ) (2021-08-23T02:12:40Z) - 10-mega pixel snapshot compressive imaging with a hybrid coded aperture [48.95666098332693]
高解像度画像は私たちの日常生活で広く使われているが、高解像度モードで動作するカメラのフレームレートが低いため、高速ビデオ撮影は困難である。
既存の撮像システムの低スループット化への解決策として、スナップショットイメージング(SCI)が提案された。
論文 参考訳(メタデータ) (2021-06-30T01:09:24Z) - Time-Multiplexed Coded Aperture Imaging: Learned Coded Aperture and
Pixel Exposures for Compressive Imaging Systems [56.154190098338965]
提案した時間多重符号化開口(TMCA)をエンドツーエンドで最適化できることを示した。
tmcaは圧縮光野イメージングとハイパースペクトルイメージングの2つの異なる応用において、より良いコード化されたスナップショットを誘導する。
この凝固法は、最先端の圧縮画像システムよりも4dB以上性能が高い。
論文 参考訳(メタデータ) (2021-04-06T22:42:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。