論文の概要: EVDI++: Event-based Video Deblurring and Interpolation via Self-Supervised Learning
- arxiv url: http://arxiv.org/abs/2509.08260v1
- Date: Wed, 10 Sep 2025 03:36:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.299636
- Title: EVDI++: Event-based Video Deblurring and Interpolation via Self-Supervised Learning
- Title（参考訳）: EVDI++: 自己監督型学習によるイベントベースのビデオ分解と補間
- Authors: Chi Zhang, Xiang Zhang, Chenxu Jiang, Gui-Song Xia, Lei Yu,
- Abstract要約: イベントベースのビデオデブロワーリングと補間のための自己教師型フレームワークEVDI++を紹介する。
イベントカメラの高時間分解能を利用して、動きのぼやけを軽減し、中間フレーム予測を可能にする。
実世界のぼやけたビデオやイベントによるネットワークトレーニングを実現するために,自己教師付き学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 36.86635176661841
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frame-based cameras with extended exposure times often produce perceptible visual blurring and information loss between frames, significantly degrading video quality. To address this challenge, we introduce EVDI++, a unified self-supervised framework for Event-based Video Deblurring and Interpolation that leverages the high temporal resolution of event cameras to mitigate motion blur and enable intermediate frame prediction. Specifically, the Learnable Double Integral (LDI) network is designed to estimate the mapping relation between reference frames and sharp latent images. Then, we refine the coarse results and optimize overall training efficiency by introducing a learning-based division reconstruction module, enabling images to be converted with varying exposure intervals. We devise an adaptive parameter-free fusion strategy to obtain the final results, utilizing the confidence embedded in the LDI outputs of concurrent events. A self-supervised learning framework is proposed to enable network training with real-world blurry videos and events by exploring the mutual constraints among blurry frames, latent images, and event streams. We further construct a dataset with real-world blurry images and events using a DAVIS346c camera, demonstrating the generalizability of the proposed EVDI++ in real-world scenarios. Extensive experiments on both synthetic and real-world datasets show that our method achieves state-of-the-art performance in video deblurring and interpolation tasks.
- Abstract（参考訳）: 露光時間が延長されたフレームベースのカメラは、視界のぼやけやフレーム間の情報損失を生じさせ、映像品質を著しく低下させる。
この課題に対処するために、イベントベースのビデオデブリと補間のための統合されたセルフ教師付きフレームワークEVDI++を導入し、イベントカメラの高時間分解能を活用して、動きのぼやけを軽減し、中間フレームの予測を可能にする。
具体的には、Learable Double Integral (LDI) ネットワークは、参照フレームとシャープ潜在画像のマッピング関係を推定するように設計されている。
そして、粗い結果を洗練し、学習に基づく分割再構成モジュールを導入して総合的な訓練効率を最適化し、様々な露光間隔で画像を変換できるようにする。
並列イベントのLDI出力に埋め込まれた信頼度を利用して最終結果を得るための適応型パラメータフリー融合戦略を考案する。
ぼやけたフレーム,潜画像,イベントストリーム間の相互制約を探索し,実世界のぼやけたビデオやイベントによるネットワークトレーニングを実現するための,自己教師型学習フレームワークを提案する。
さらに,DAVIS346cカメラを用いた実世界のぼやけた画像やイベントを用いたデータセットを構築し,実世界のシナリオにおけるEVDI++の一般化可能性を示す。
合成と実世界の両方のデータセットに対する大規模な実験により,ビデオのデブロアリングと補間作業における最先端のパフォーマンスが得られた。
関連論文リスト
- UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models [54.564740558030245]
UCMは、長期記憶と正確なカメラ制御をタイムアウェアな位置符号化変換機構を介して統合する新しいフレームワークである。
我々はまた、ポイントクラウドベースのレンダリングを利用したスケーラブルなデータキュレーション戦略を導入し、シーンの再考をシミュレートする。
論文 参考訳（メタデータ） (2026-02-26T12:54:46Z) - UniE2F: A Unified Diffusion Framework for Event-to-Frame Reconstruction with Video Foundation Models [67.24086328473437]
イベントカメラは絶対強度よりも相対強度の変化を記録できる。
結果として得られたデータストリームは、空間情報と静的テクスチャの詳細が著しく失われることに悩まされる。
本稿では、事前学習したビデオ拡散モデルを用いて、スパースイベントデータから高忠実度ビデオフレームを再構成することで、この制限に対処する。
論文 参考訳（メタデータ） (2026-02-22T14:06:49Z) - EvDiff: High Quality Video with an Event Camera [77.07279880903009]
イベントからの強度画像の再構成は、絶対的な明るさのあいまいさが原因で、非常に不適切な作業である。
EvDiffはイベントベースの拡散モデルであり、高品質なビデオを作成するための代理トレーニングフレームワークに従う。
論文 参考訳（メタデータ） (2025-11-21T18:49:18Z) - FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning [65.42201665046505]
現在のビデオ理解モデルは、各質問の特定の推論条件にかかわらず、固定されたフレームサンプリング戦略に依存し、所定の視覚入力を処理する。
この静的アプローチは、視覚的エビデンスを適応的に収集する能力を制限し、広範囲の時間的カバレッジやきめ細かい空間的詳細を必要とするタスクにおいて、最適以下のパフォーマンスをもたらす。
Frame-Interleaved Chain-of-Thought (FiCOT)を通して、モデルが推論中に視覚情報を動的に要求することを可能にする強化学習で訓練されたエンドツーエンドフレームワークであるFrameMindを紹介する。
従来のアプローチとは異なり、FrameMindは複数のターンで動作し、モデルがテキスト推論とアクティブな視覚知覚を交互に切り替え、ツールを使って抽出する。
論文 参考訳（メタデータ） (2025-09-28T17:59:43Z) - CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。
1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。
提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
論文 参考訳（メタデータ） (2024-08-27T10:09:17Z) - Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。
提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。
合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-04-28T12:13:34Z) - Video Dynamics Prior: An Internal Learning Approach for Robust Video
Enhancements [83.5820690348833]
外部トレーニングデータコーパスを必要としない低レベルの視覚タスクのためのフレームワークを提案する。
提案手法は,コヒーレンス・時間的テストの重み付けと統計内部統計を利用して,破損したシーケンスを最適化することでニューラルモジュールを学習する。
論文 参考訳（メタデータ） (2023-12-13T01:57:11Z) - Self-Supervised Scene Dynamic Recovery from Rolling Shutter Images and
Events [63.984927609545856]
任意の時間間隔間での画素単位のダイナミックさを予測するために,イベントベース/イントラフレーム補償器(E-IC)を提案する。
提案手法は,実世界のシナリオにおけるイベントベースRS2GSインバージョンにおいて,顕著な性能を示す。
論文 参考訳（メタデータ） (2023-04-14T05:30:02Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - A Unified Framework for Event-based Frame Interpolation with Ad-hoc Deblurring in the Wild [72.0226493284814]
本稿では,デブロリングアドホックを行うイベントベースフレームの統一フレームワークを提案する。
我々のネットワークは、フレーム上の従来の最先端の手法、単一画像のデブロアリング、および両者のジョイントタスクを一貫して上回ります。
論文 参考訳（メタデータ） (2023-01-12T18:19:00Z) - Unifying Motion Deblurring and Frame Interpolation with Events [11.173687810873433]
フレームベースのカメラのスローシャッター速度と長時間露光は、しばしばフレーム間の情報の視覚的曖昧さと損失を引き起こし、キャプチャされたビデオの全体的な品質を劣化させる。
イベントの極めて低レイテンシを利用して、動きのぼやけを緩和し、中間フレーム予測を容易にする、ぼやけたビデオ強調のためのイベントベースモーションデブロアリングとフレーム拡張の統一フレームワークを提案する。
ぼやけたフレーム,潜入画像,イベントストリーム間の相互制約を探索することにより,実世界のぼやけたビデオやイベントによるネットワークトレーニングを可能にする,自己教師付き学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T03:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。