論文の概要: CompEvent: Complex-valued Event-RGB Fusion for Low-light Video Enhancement and Deblurring
- arxiv url: http://arxiv.org/abs/2511.14469v1
- Date: Tue, 18 Nov 2025 13:09:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:53.126063
- Title: CompEvent: Complex-valued Event-RGB Fusion for Low-light Video Enhancement and Deblurring
- Title(参考訳): CompEvent: 複雑な値のイベント-RGB融合による低照度ビデオの強化とデブロアリング
- Authors: Mingchen Zhong, Xin Lu, Dong Li, Senyan Xu, Ruixuan Jiang, Xueyang Fu, Baocai Yin,
- Abstract要約: 低照度劣化は、夜間監視や、薄暗い照明による自律走行など、アプリケーションに重大な課題をもたらす。
イベントデータとRGBフレームの全体的全プロセス融合を可能にする複雑なニューラルネットワークフレームワークであるCompEventを提案する。
- 参考スコア(独自算出の注目度): 78.16703719473078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-light video deblurring poses significant challenges in applications like nighttime surveillance and autonomous driving due to dim lighting and long exposures. While event cameras offer potential solutions with superior low-light sensitivity and high temporal resolution, existing fusion methods typically employ staged strategies, limiting their effectiveness against combined low-light and motion blur degradations. To overcome this, we propose CompEvent, a complex neural network framework enabling holistic full-process fusion of event data and RGB frames for enhanced joint restoration. CompEvent features two core components: 1) Complex Temporal Alignment GRU, which utilizes complex-valued convolutions and processes video and event streams iteratively via GRU to achieve temporal alignment and continuous fusion; and 2) Complex Space-Frequency Learning module, which performs unified complex-valued signal processing in both spatial and frequency domains, facilitating deep fusion through spatial structures and system-level characteristics. By leveraging the holistic representation capability of complex-valued neural networks, CompEvent achieves full-process spatiotemporal fusion, maximizes complementary learning between modalities, and significantly strengthens low-light video deblurring capability. Extensive experiments demonstrate that CompEvent outperforms SOTA methods in addressing this challenging task. The code is available at https://github.com/YuXie1/CompEvent.
- Abstract(参考訳): 低照度ビデオの劣化は、夜間の監視や、薄暗い照明と長時間の露光による自律運転といったアプリケーションにおいて大きな課題となる。
イベントカメラは、より優れた低照度感度と高時間分解能を備えた潜在的なソリューションを提供するが、既存の融合法は、通常、ステージ化された戦略を採用し、低照度と運動のぼかしの複合劣化に対する効果を制限する。
これを解決するために,複雑なニューラルネットワークフレームワークであるCompEventを提案する。
CompEventは2つのコアコンポーネントを備えている。
1)複合価値畳み込みを利用した複合時間アライメントGRUは、時間的アライメントと連続融合を実現するために、GRUを介して反復的にビデオおよびイベントストリームを処理する。
2) 複雑な空間周波数学習モジュールは,空間的・周波数的領域で複雑な信号処理を統一し,空間的構造やシステムレベルの特性による深部融合を容易にする。
複素数値ニューラルネットワークの全体的表現能力を活用することで、CompEventはフルプロセスの時空間融合を実現し、モダリティ間の補完的学習を最大化し、低照度ビデオの劣化能力を著しく強化する。
大規模な実験では、CompEventがこの課題に対処する上でSOTAメソッドよりも優れていることが示されている。
コードはhttps://github.com/YuXie1/CompEvent.comから入手できる。
関連論文リスト
- Learning Flow-Guided Registration for RGB-Event Semantic Segmentation [22.996619370156584]
イベントカメラは、RGBセンサーを補完するマイクロ秒レベルのモーションキューをキャプチャする。
RGB-Eventセグメンテーションを融合から登録に再キャストする。
非対称なモーダル間の対応を適応的にマッチングする新しいフロー誘導双方向フレームワークであるBRENetを提案する。
論文 参考訳(メタデータ) (2025-05-02T19:19:58Z) - Event-Enhanced Blurry Video Super-Resolution [52.894824081586776]
我々は,低解像度(LR)とぼやけた入力から高解像度(HR)ビデオを生成することを目的とした,ぼやけたビデオ超解像(BVSR)の課題に取り組む。
現在のBVSR法は、しばしば高解像度でシャープな詳細を復元するのに失敗し、顕著なアーティファクトとジッターを生み出した。
本稿では,BVSR にイベント信号を導入し,新しいイベント強化ネットワーク Ev-DeVSR を提案する。
論文 参考訳(メタデータ) (2025-04-17T15:55:41Z) - FUSE: Label-Free Image-Event Joint Monocular Depth Estimation via Frequency-Decoupled Alignment and Degradation-Robust Fusion [92.4205087439928]
画像強調共同深度推定法は、頑健な知覚に相補的なモダリティを利用するが、一般化可能性の課題に直面している。
自己監督型転送(PST)と周波数デカップリング型フュージョンモジュール(FreDF)を提案する。
PSTは、画像基盤モデルとの遅延空間アライメントによるクロスモーダルな知識伝達を確立し、データ不足を効果的に軽減する。
FreDFは、低周波構造成分から高周波エッジ特性を明示的に分離し、モード比周波数ミスマッチを解消する。
この組み合わせのアプローチにより、FUSEはターゲットデータセットに対する軽量デコーダ適応のみを必要とするユニバーサルなイメージイベントを構築することができる。
論文 参考訳(メタデータ) (2025-03-25T15:04:53Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳(メタデータ) (2023-07-24T06:51:07Z) - Learning Spatial-Temporal Implicit Neural Representations for
Event-Guided Video Super-Resolution [9.431635577890745]
イベントカメラは、強度変化を非同期に検知し、高いダイナミックレンジと低レイテンシでイベントストリームを生成する。
これは、挑戦的なビデオ超解像(VSR)タスクを導くためにイベントを利用する研究にインスピレーションを与えている。
本稿では,イベントの高時間分解能の利点を生かして,ランダムスケールでのVSRの実現という新たな課題に対処する試みを行う。
論文 参考訳(メタデータ) (2023-03-24T02:42:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。