論文の概要: Learning to Deblur and Generate High Frame Rate Video with an Event Camera

• arxiv url: http://arxiv.org/abs/2003.00847v2
• Date: Fri, 20 Mar 2020 04:09:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 05:23:36.908622
• Title: Learning to Deblur and Generate High Frame Rate Video with an Event Camera
• Title（参考訳）: イベントカメラを用いた高フレームレート映像のデブラリングと生成の学習
• Authors: Chen Haoyu, Teng Minggui, Shi Boxin, Wang YIzhou and Huang Tiejun
• Abstract要約: イベントカメラは、高速なシーンを記録する際に、動きのぼやけに悩まされない。 従来型のカメラの難読化タスクを、イベントによって指示され、残留学習タスクとなるように定式化する。 本稿では,デブロアリングと高フレームレートビデオ生成タスクを効果的に学習するネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Event cameras are bio-inspired cameras which can measure the change of intensity asynchronously with high temporal resolution. One of the event cameras' advantages is that they do not suffer from motion blur when recording high-speed scenes. In this paper, we formulate the deblurring task on traditional cameras directed by events to be a residual learning one, and we propose corresponding network architectures for effective learning of deblurring and high frame rate video generation tasks. We first train a modified U-Net network to restore a sharp image from a blurry image using corresponding events. Then we train another similar network with different downsampling blocks to generate high frame rate video using the restored sharp image and events. Experiment results show that our method can restore sharper images and videos than state-of-the-art methods.
• Abstract（参考訳）: イベントカメラはバイオインスパイアされたカメラで、時間分解能の高い非同期に強度の変化を測定することができる。 イベントカメラの利点の一つは、高速シーンを記録する際に動きのぼやけに苦しむことがないことである。 本稿では,イベントに向けられた従来のカメラのデブロアリングタスクを残留学習タスクとして定式化し,デブロアリングと高フレームレートビデオ生成タスクを効果的に学習するためのネットワークアーキテクチャを提案する。 まず、修正されたU-Netネットワークをトレーニングし、対応するイベントを用いてぼやけた画像からシャープなイメージを復元する。 次に、異なるダウンサンプリングブロックを持つ別の類似ネットワークをトレーニングし、復元されたシャープ画像とイベントを用いて高フレームレートビデオを生成する。 実験の結果,最先端の手法よりもシャープな画像や映像を復元できることがわかった。

関連論文リスト

• EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
  生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。 本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。 提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
  論文  参考訳（メタデータ） (2024-10-20T13:44:24Z)
• Gradient events: improved acquisition of visual information in event cameras [0.0]
  従来の明るさイベントと同じ特性から恩恵を受ける新しいタイプのイベントである勾配イベントを提案する。 勾配イベントに基づくビデオ再構成は、既存の最先端の輝度イベントベースの手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-03T10:18:35Z)
• CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
  ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。 1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。 提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-27T10:09:17Z)
• EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms with Real-captured Hybrid Dataset [55.12137324648253]
  イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。 本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-13T15:42:04Z)
• Aggregating Long-term Sharp Features via Hybrid Transformers for Video Deblurring [76.54162653678871]
  本稿では,特徴集約のためのハイブリッドトランスフォーマーを用いて,隣接するフレームとシャープフレームの両方を活用するビデオデブロアリング手法を提案する。 提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
  論文  参考訳（メタデータ） (2023-09-13T16:12:11Z)
• Unfolding a blurred image [36.519356428362286]
  我々は、教師なしの方法でシャープビデオから動きの表現を学習する。 次に、ビデオ再構成の代用タスクを実行する畳み込みリカレントビデオオートエンコーダネットワークを訓練する。 ぼやけた画像のためのモーションエンコーダのガイドトレーニングに使用される。 このネットワークは、ぼやけた画像から埋め込み動作情報を抽出し、トレーニングされたリカレントビデオデコーダとともにシャープなビデオを生成する。
  論文  参考訳（メタデータ） (2022-01-28T09:39:55Z)
• MEFNet: Multi-scale Event Fusion Network for Motion Deblurring [62.60878284671317]
  従来のフレームベースのカメラは、長時間露光のために必然的に動きがぼやけている。 バイオインスパイアされたカメラの一種として、イベントカメラは、高時間分解能で非同期な方法で強度変化を記録する。 本稿では,イベントベースの画像劣化問題を再考し,これをエンドツーエンドの2段階画像復元ネットワークに展開する。
  論文  参考訳（メタデータ） (2021-11-30T23:18:35Z)
• Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
  単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。 一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。 提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
  論文  参考訳（メタデータ） (2021-04-19T08:32:57Z)
• Reducing the Sim-to-Real Gap for Event Cameras [64.89183456212069]
  イベントカメラは、非同期でピクセルごとの明るさ変化を報告し、非並列の低レイテンシで「イベント」と呼ばれるパラダイムシフトする新しいセンサーである。 近年の研究では、コンボリューショナルニューラルネットワーク(CNN)を用いて、映像再構成とイベントによる光学的流れを実証している。 既存のビデオ再構成ネットワークの性能を20～40%向上させるイベントベースCNNのトレーニングデータ改善戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-20T02:44:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。