論文の概要: Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor
- arxiv url: http://arxiv.org/abs/2604.10554v1
- Date: Sun, 12 Apr 2026 09:54:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.097051
- Title: Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor
- Title（参考訳）: 補足型視覚センサによる時空間差ガイド運動の劣化
- Abstract要約: 動きのぼかしは露光期間中に急激なシーン変化が起こると発生し、リッチな露光中の動きを1つのRGBフレームに崩壊させる。
本稿では,RGB入力のぼやけた構造や色の詳細を復元するために,時空間差ガイドデブロアネット(STGDNet)を提案する。
提案手法は,合成CVSデータセットと実世界評価の両方において,現在のRGBやイベントベースのアプローチよりも優れている。
- 参考スコア（独自算出の注目度）: 12.418360718687026
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Motion blur arises when rapid scene changes occur during the exposure period, collapsing rich intra-exposure motion into a single RGB frame. Without explicit structural or temporal cues, RGB-only deblurring is highly ill-posed and often fails under extreme motion. Inspired by the human visual system, brain-inspired vision sensors introduce temporally dense information to alleviate this problem. However, event cameras still suffer from event rate saturation under rapid motion, while the event modality entangles edge features and motion cues, which limits their effectiveness. As a recent breakthrough, the complementary vision sensor (CVS), Tianmouc, captures synchronized RGB frames together with high-frame-rate, multi-bit spatial difference (SD, encoding structural edges) and temporal difference (TD, encoding motion cues) data within a single RGB exposure, offering a promising solution for RGB deblurring under extreme dynamic scenes. To fully leverage these complementary modalities, we propose Spatio-Temporal Difference Guided Deblur Net (STGDNet), which adopts a recurrent multi-branch architecture that iteratively encodes and fuses SD and TD sequences to restore structure and color details lost in blurry RGB inputs. Our method outperforms current RGB or event-based approaches in both synthetic CVS dataset and real-world evaluations. Moreover, STGDNet exhibits strong generalization capability across over 100 extreme real-world scenarios. Project page: https://tmcDeblur.github.io/
- Abstract（参考訳）: 動きのぼかしは露光期間中に急激なシーン変化が起こると発生し、リッチな露光中の動きを1つのRGBフレームに崩壊させる。
明示的な構造的あるいは時間的手がかりがなければ、RGBのみの脱臭は非常に不良であり、しばしば極端な動きの下で失敗する。
人間の視覚システムにインスパイアされた脳にインスパイアされた視覚センサーは、この問題を緩和するために時間的に密集した情報を導入します。
しかし、イベントカメラは、急激な動きの下でイベントレートの飽和に苦しむ一方、イベントモダリティはエッジの特徴と動きの手がかりを絡み、その効果を制限している。
最近のブレークスルーとして、補完視覚センサ(CVS)であるTianmoucは、高フレームレート、多ビット空間差(SD、構造エッジの符号化)と時間差(TD、動きキューの符号化)データを単一のRGB露光でキャプチャし、極端なダイナミックなシーン下でRGBを分解するための有望なソリューションを提供する。
このような相補的なモダリティをフル活用するために,SDおよびTD配列を繰り返しエンコードして融合するマルチブランチアーキテクチャを採用して,ぼやけたRGB入力で失われる構造や色の詳細を復元する,時空間微分ガイドデブロアネット(STGDNet)を提案する。
提案手法は,合成CVSデータセットと実世界評価の両方において,現在のRGBやイベントベースのアプローチよりも優れている。
さらに、STGDNetは100以上の極端な現実世界シナリオにまたがる強力な一般化能力を示している。
プロジェクトページ: https://tmcDeblur.github.io/
関連論文リスト
- Cyclops: LiDAR as a Camera That Dreams in Color [32.25721672776894]
本稿では,非反復走査LiDAR(NRS-LiDAR)強度をRGBビデオに変換するフレームワークを提案する。
提案手法は, 凍結した予混合密度モジュールを用いて, スパースLiDAR強度射影を密度密度表現に変換する。
その後、高密度潜水剤はラテントブリッジマッチングを介してターゲットRGB分布へ輸送される。
論文 参考訳（メタデータ） (2026-08-17T08:37:09Z) - ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression [16.49973800168176]
学習ビデオ圧縮のためのイベント支援補足運動再構成フレームワーク
ENCOREは最大20.80%のPSNR-RGBと22.14%のMS-SSIM-RGBのBDレートを達成している。
BS-ERGB、HQ-EVFI、CEDに関する実験は、データセットとGOPの長さで一貫した利得を示している。
論文 参考訳（メタデータ） (2026-07-30T11:10:13Z) - RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics [93.19893734404417]
ビデオデラリニングは、悪天候下での信頼性の高い知覚のために、雨の多いビデオからクリーンな視覚コンテンツを回復することを目的としている。
既存の手法は主にRGBシーケンスと時間的冗長性に依存しているが、動的雨の場面ではRGBのみの復元はあいまいである。
本研究では,分解前相互作用パラダイムに基づくプログレッシブなRGBイベントビデオデライニングフレームワークであるRainDancerを提案する。
論文 参考訳（メタデータ） (2026-07-15T13:08:21Z) - UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance [19.80142530142947]
高フレームレートのRGB-Dビデオは、モーション分析、動的シーン理解、3D再構成など、さまざまな下流タスクに不可欠である。
既存のビデオ手法は、RGBデータに対して高い性能を達成しているが、RGB-Dシナリオには適用できない。
本稿では,RGBの外観,深度幾何学,イベントベースの時間的手がかりを併用したRGB-Dビデオ用統合マルチモーダルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-23T08:03:58Z) - E-RGB-D: Real-Time Event-Based Perception with Structured Light [4.894362825271711]
イベントベースのカメラ(EC)は、バイオインスパイアされたセンサーとして登場し、ピクセルの明るさが非同期に変化することを報告している。
本稿では、デジタル光処理(DLP)プロジェクタを統合し、RGB-Dセンシングのためのアクティブ構造光(ASL)を形成する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2025-12-20T17:08:11Z) - Human Activity Recognition using RGB-Event based Sensors: A Multi-modal Heat Conduction Model and A Benchmark Dataset [65.76480665062363]
人間の活動認識は主に、高性能な活動認識を実現するために従来のRGBカメラに依存していた。
照明不足や急激な動きといった現実のシナリオにおける課題は、必然的にRGBカメラの性能を低下させる。
本研究では,RGBとイベントカメラを組み合わせることで,人間の活動認識を再考する。
論文 参考訳（メタデータ） (2025-04-08T09:14:24Z) - Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view RGB and Event Streams [69.65147723239153]
動的シーンのボリューム再構成はコンピュータビジョンにおいて重要な問題である。
照明が悪く、動きが速い場合には特に困難である。
本稿では,スパースなマルチビューイベントストリームとスパースなRGBフレームからシーンを時間的に再構築する手法を提案する。
論文 参考訳（メタデータ） (2024-12-09T18:56:18Z) - Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction [51.87279764576998]
EvRGBHand - イベントカメラとRGBカメラによる3Dハンドメッシュ再構築のための最初のアプローチを提案する。
EvRGBHandは、RGBベースのHMRにおける露出とモーションのぼかしの問題と、イベントベースのHMRにおける前景の不足とバックグラウンドのオーバーフロー問題に対処することができる。
論文 参考訳（メタデータ） (2024-03-12T06:04:50Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳（メタデータ） (2023-07-24T06:51:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。