論文の概要: SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams
- arxiv url: http://arxiv.org/abs/2403.09486v5
- Date: Sat, 26 Oct 2024 15:05:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:37:03.923921
- Title: SpikeReveal: Unlocking Temporal Sequences from Real Blurry Inputs with Spike Streams
- Title（参考訳）: SpikeReveal:スパイクストリームでリアルタイムのBlurry入力からテンポラルシーケンスをアンロック
- Authors: Kang Chen, Shiyan Chen, Jiyuan Zhang, Baoyue Zhang, Yajing Zheng, Tiejun Huang, Zhaofei Yu,
- Abstract要約: スパイクカメラは、動きの特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
既存の手法は教師付き学習パラダイムに陥り、現実のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
本研究では,スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.02794438687478
- License:
- Abstract: Reconstructing a sequence of sharp images from the blurry input is crucial for enhancing our insights into the captured scene and poses a significant challenge due to the limited temporal features embedded in the image. Spike cameras, sampling at rates up to 40,000 Hz, have proven effective in capturing motion features and beneficial for solving this ill-posed problem. Nonetheless, existing methods fall into the supervised learning paradigm, which suffers from notable performance degradation when applied to real-world scenarios that diverge from the synthetic training data domain. Moreover, the quality of reconstructed images is capped by the generated images based on motion analysis interpolation, which inherently differs from the actual scene, affecting the generalization ability of these methods in real high-speed scenarios. To address these challenges, we propose the first self-supervised framework for the task of spike-guided motion deblurring. Our approach begins with the formulation of a spike-guided deblurring model that explores the theoretical relationships among spike streams, blurry images, and their corresponding sharp sequences. We subsequently develop a self-supervised cascaded framework to alleviate the issues of spike noise and spatial-resolution mismatching encountered in the deblurring model. With knowledge distillation and re-blurring loss, we further design a lightweight deblur network to generate high-quality sequences with brightness and texture consistency with the original input. Quantitative and qualitative experiments conducted on our real-world and synthetic datasets with spikes validate the superior generalization of the proposed framework. Our code, data and trained models will be available at \url{https://github.com/chenkang455/S-SDM}.
- Abstract（参考訳）: 鮮明な画像列をぼやけた入力から再構成することは、捉えたシーンに対する洞察を高めるのに不可欠であり、画像に埋め込まれた時間的特徴が限られているため、重要な課題となる。
最大4万Hzの速度でサンプリングするスパイクカメラは、運動の特徴を捉え、この不適切な問題を解くのに有効であることが証明されている。
それにもかかわらず、既存の手法は教師付き学習パラダイムに陥り、合成トレーニングデータドメインから分岐する実世界のシナリオに適用した場合、顕著なパフォーマンス劣化に悩まされる。
さらに, 実際のシーンと本質的に異なる動き解析補間に基づいて生成した画像によって再構成画像の品質を抑え, 実時間シナリオにおけるこれらの手法の一般化能力に影響を及ぼす。
これらの課題に対処するために、スパイク誘導動作の劣化に対する最初の自己教師型フレームワークを提案する。
我々のアプローチは、スパイクストリーム、ぼやけた画像、およびそれに対応するシャープシーケンス間の理論的関係を探索するスパイク誘導型デブロアリングモデルの定式化から始まる。
そこで我々は,デブロアリングモデルで発生するスパイクノイズや空間分解能のミスマッチの問題を緩和する,自己教師型カスケードフレームワークを開発した。
知識蒸留と再ブルーリング損失を伴って,明度とテクスチャの整合性を有する高品質なシーケンスを生成する軽量デブルーネットワークを設計する。
実世界および合成データセットのスパイクを用いた定量的および定性的な実験により、提案フレームワークの優れた一般化が検証された。
私たちのコード、データ、トレーニングされたモデルは、 \url{https://github.com/chenkang455/S-SDM}で利用可能になります。
関連論文リスト
- Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。
同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
論文 参考訳（メタデータ） (2024-06-06T03:37:39Z) - SpikeNeRF: Learning Neural Radiance Fields from Continuous Spike Stream [26.165424006344267]
スパイクカメラは、標準的なカメラよりも明確な利点がある。
スパイクカメラに依存する既存のアプローチは、しばしば最適な照明を仮定する。
スパイクカメラデータからNeRFに基づくボリュームシーン表現を導出した最初の作品であるSpikeNeRFを紹介する。
論文 参考訳（メタデータ） (2024-03-17T13:51:25Z) - Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。
実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。
特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
論文 参考訳（メタデータ） (2024-01-01T14:14:35Z) - RANRAC: Robust Neural Scene Representations via Random Ray Consensus [12.161889666145127]
RANRAC(RANdom RAy Consensus)は、一貫性のないデータの影響を排除するための効率的な手法である。
我々はRANSACパラダイムのファジィ適応を定式化し、大規模モデルへの適用を可能にした。
その結果, 新規な視点合成のための最先端のロバストな手法と比較して, 顕著な改善が見られた。
論文 参考訳（メタデータ） (2023-12-15T13:33:09Z) - Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。
既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。
本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
論文 参考訳（メタデータ） (2023-11-20T08:27:56Z) - Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image
Denoising [16.43285056788183]
再構成・生成拡散モデル(Reconstruct-and-Generate Diffusion Model, RnG)と呼ばれる新しい手法を提案する。
提案手法は, 再構成型復調ネットワークを利用して, 基礎となるクリーン信号の大半を復元する。
拡散アルゴリズムを用いて残留する高周波の詳細を生成し、視覚的品質を向上させる。
論文 参考訳（メタデータ） (2023-09-19T16:01:20Z) - Unveiling the Potential of Spike Streams for Foreground Occlusion
Removal from Densely Continuous Views [23.10251947174782]
本研究では,1台のスパイクカメラのみを用いた連続マルチビューイメージングにより,デオクルージョン問題に対処する革新的な解決策を提案する。
スパイクカメラを素早く移動させることで、閉鎖されたシーンからのスパイクの密集した流れを継続的に捉えます。
スパイクの処理を行うために,新しいモデル textbfSpkOccNet を構築し,連続的な視点からスパイクの情報を統合する。
論文 参考訳（メタデータ） (2023-07-03T08:01:43Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳（メタデータ） (2023-06-30T12:14:13Z) - Recovering Continuous Scene Dynamics from A Single Blurry Image with
Events [58.7185835546638]
インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。
両モードの利点を効果的に活用するために、二重注意変換器を提案する。
提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
論文 参考訳（メタデータ） (2023-04-05T18:44:17Z) - Fast Image-Anomaly Mitigation for Autonomous Mobile Robots [27.049498074025088]
雨やほこりのようなカメラの異常は、画像の品質と関連するタスクを著しく低下させる可能性がある。
本研究では,これらのアーティファクトをリアルタイムに効果的に緩和する前処理ステップを実装することで,この問題に対処する。
論文 参考訳（メタデータ） (2021-09-04T15:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。