論文の概要: Hybrid Event Frame Sensors: Modeling, Calibration, and Simulation
- arxiv url: http://arxiv.org/abs/2511.18037v1
- Date: Sat, 22 Nov 2025 12:32:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:24.595609
- Title: Hybrid Event Frame Sensors: Modeling, Calibration, and Simulation
- Title(参考訳): ハイブリッドイベントフレームセンサ:モデリング,キャリブレーション,シミュレーション
- Authors: Yunfan Lu, Nico Messikommer, Xiaogang Xu, Liming Chen, Yuhan Chen, Nikola Zubic, Davide Scaramuzza, Hui Xiong,
- Abstract要約: イベントフレームハイブリッドセンサーは、Active Pixel Sensor(APS)とEvent Vision Sensor(EVS)を1つのチップに統合する。
APS と EVS ピクセルのノイズ挙動を共同で記述した最初の統合統計に基づく画像ノイズモデルを提案する。
- 参考スコア(独自算出の注目度): 46.93612436763656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event frame hybrid sensors integrate an Active Pixel Sensor (APS) and an Event Vision Sensor (EVS) within a single chip, combining the high dynamic range and low latency of the EVS with the rich spatial intensity information from the APS. While this tight integration offers compact, temporally precise imaging, the complex circuit architecture introduces non-trivial noise patterns that remain poorly understood and unmodeled. In this work, we present the first unified, statistics-based imaging noise model that jointly describes the noise behavior of APS and EVS pixels. Our formulation explicitly incorporates photon shot noise, dark current noise, fixed-pattern noise, and quantization noise, and links EVS noise to illumination level and dark current. Based on this formulation, we further develop a calibration pipeline to estimate noise parameters from real data and offer a detailed analysis of both APS and EVS noise behaviors. Finally, we propose HESIM, a statistically grounded simulator that generates RAW frames and events under realistic, jointly calibrated noise statistics. Experiments on two hybrid sensors validate our model across multiple imaging tasks (e.g., video frame interpolation and deblurring), demonstrating strong transfer from simulation to real data.
- Abstract(参考訳): イベントフレームハイブリッドセンサーは、Active Pixel Sensor(APS)とEvent Vision Sensor(EVS)を1つのチップに統合し、ESVの高ダイナミックレンジと低レイテンシと、APSからの豊富な空間強度情報を組み合わせる。
この密接な統合は、コンパクトで時間的に正確な画像を提供するが、複雑な回路アーキテクチャは、理解が不十分で非モデル化されていない非自明なノイズパターンを導入している。
本研究では, APS と EVS ピクセルのノイズ挙動を共同で記述した, 統計に基づく最初の統一画像ノイズモデルを提案する。
我々の定式化では、光子ショットノイズ、ダーク電流ノイズ、固定パターンノイズ、量子化ノイズを明示的に含み、ESVノイズを照明レベルとダーク電流にリンクする。
この定式化に基づいて、実データからノイズパラメータを推定するキャリブレーションパイプラインをさらに発展させ、APSとESVの両方のノイズ挙動を詳細に解析する。
最後に,RAWフレームとイベントを現実的,共同校正された雑音統計の下で生成する統計基底シミュレータHESIMを提案する。
2つのハイブリッドセンサーの実験は、複数の画像処理タスク(例えば、ビデオフレームの補間とデブロアリング)にわたってモデルを検証し、シミュレーションから実データへの強い伝達を示す。
関連論文リスト
- Physics-Guided Rectified Flow for Low-light RAW Image Enhancement [0.0]
低照度条件下で撮影されたRAW画像の強調は難しい作業である。
近年の深層学習に基づくRAW強化手法は, 実際のペアデータから, 合成データセットへの依存へと移行している。
論文 参考訳(メタデータ) (2025-09-10T07:08:43Z) - Towards General Low-Light Raw Noise Synthesis and Modeling [37.87312467017369]
生成モデルにより信号非依存ノイズを合成する新しい視点を導入する。
具体的には、信号に依存しないノイズと信号に依存しないノイズを物理と学習に基づく方法で合成する。
このようにして、本手法は一般的なモデルとみなすことができ、つまり、異なるISOレベルの異なるノイズ特性を同時に学習することができる。
論文 参考訳(メタデータ) (2023-07-31T09:10:10Z) - Realistic Noise Synthesis with Diffusion Models [44.404059914652194]
ディープラーニングモデルには、大規模な実世界のトレーニングデータが必要です。
本稿では,これらの課題に対処するために拡散モデルを用いた新しい実音合成拡散器(RNSD)法を提案する。
論文 参考訳(メタデータ) (2023-05-23T12:56:01Z) - Advancing Unsupervised Low-light Image Enhancement: Noise Estimation, Illumination Interpolation, and Self-Regulation [55.07472635587852]
低光画像強調(LLIE)技術は、画像の詳細の保存とコントラストの強化に顕著な進歩をもたらした。
これらのアプローチは、動的ノイズを効率的に緩和し、様々な低照度シナリオを収容する上で、永続的な課題に直面する。
まず,低照度画像の雑音レベルを迅速かつ高精度に推定する方法を提案する。
次に、照明と入力の一般的な制約を満たすために、Learningable Illumination Interpolator (LII) を考案する。
論文 参考訳(メタデータ) (2023-05-17T13:56:48Z) - E-MLB: Multilevel Benchmark for Event-Based Camera Denoising [12.698543500397275]
イベントカメラは、差動信号を出力する際に、ジャンクションリーク電流と光電流に敏感である。
大規模イベント復号化データセット(イベント復号化のためのマルチレベルベンチマーク、E-MLB)を初めて構築する。
また、与えられた事象の構造強度を測定する最初の非参照事象認知尺度であるイベント構造比(ESR)を提案する。
論文 参考訳(メタデータ) (2023-03-21T16:31:53Z) - Rethinking Noise Synthesis and Modeling in Raw Denoising [75.55136662685341]
センサの実際の雑音を直接サンプリングすることで、ノイズを合成する新しい視点を導入する。
それは本質的に、異なるカメラセンサーに対して正確な生画像ノイズを発生させる。
論文 参考訳(メタデータ) (2021-10-10T10:45:24Z) - Designing a Practical Degradation Model for Deep Blind Image
Super-Resolution [134.9023380383406]
単一画像スーパーレゾリューション (sisr) 法は, 推定劣化モデルが実画像から逸脱した場合はうまく動作しない。
本稿では, ランダムにシャッフルされたブラー, ダウンサンプリング, ノイズ劣化からなる, より複雑で実用的な劣化モデルを提案する。
論文 参考訳(メタデータ) (2021-03-25T17:40:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。