論文の概要: Seeing Behind Dynamic Occlusions with Event Cameras

• arxiv url: http://arxiv.org/abs/2307.15829v2
• Date: Tue, 1 Aug 2023 16:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 11:23:41.048588
• Title: Seeing Behind Dynamic Occlusions with Event Cameras
• Title（参考訳）: イベントカメラでダイナミックオクルージョンの裏側を見る
• Authors: Rong Zou, Manasi Muglikar, Nico Messikommer, Davide Scaramuzza
• Abstract要約: 一つの視点から背景を再構築する新しい手法を提案する。 私たちのソリューションは、従来のカメラとイベントカメラの組み合わせに初めて依存しています。 提案手法は, データセット上のPSNRにおいて, 3dBによる画像の描画方法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 44.63007080623054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unwanted camera occlusions, such as debris, dust, rain-drops, and snow, can severely degrade the performance of computer-vision systems. Dynamic occlusions are particularly challenging because of the continuously changing pattern. Existing occlusion-removal methods currently use synthetic aperture imaging or image inpainting. However, they face issues with dynamic occlusions as these require multiple viewpoints or user-generated masks to hallucinate the background intensity. We propose a novel approach to reconstruct the background from a single viewpoint in the presence of dynamic occlusions. Our solution relies for the first time on the combination of a traditional camera with an event camera. When an occlusion moves across a background image, it causes intensity changes that trigger events. These events provide additional information on the relative intensity changes between foreground and background at a high temporal resolution, enabling a truer reconstruction of the background content. We present the first large-scale dataset consisting of synchronized images and event sequences to evaluate our approach. We show that our method outperforms image inpainting methods by 3dB in terms of PSNR on our dataset.
• Abstract（参考訳）: ほこり、ほこり、雨滴、雪などの望ましくないカメラの閉塞は、コンピュータビジョンシステムの性能を著しく低下させる可能性がある。 動的咬合は連続的な変化パターンのため特に困難である。 既存の咬合除去法は、現在合成開口イメージングまたは画像インパインティングを使用している。 しかし、背景強度を幻覚させるために複数の視点やユーザ生成マスクを必要とするため、ダイナミックオクルージョンの問題に直面している。 本研究では,動的閉塞の存在下での単一視点から背景を再構築する新しい手法を提案する。 私たちのソリューションは、従来のカメラとイベントカメラの組み合わせに初めて依存しています。 閉塞が背景画像を横切ると、強度の変化が起こり、イベントが引き起こされる。 これらのイベントは、前景と背景の間の相対的な強度変化を高い時間分解能で追加情報を提供し、背景コンテンツの真の再構築を可能にする。 我々は,このアプローチを評価するために,同期画像とイベントシーケンスからなる最初の大規模データセットを提案する。 提案手法は, データセット上のPSNRにおいて, 3dBによる画像の描画方法よりも優れていることを示す。

関連論文リスト

• Temporal-Mapping Photography for Event Cameras [5.344756442054121]
  イベントカメラ、またはダイナミックビジョンセンサー(DVS)は「イベント」の連続ストリームとして明るさの変化を捉えます。 スパース事象を高密度フレームに忠実に変換することは、長い間不適切な問題であった。 本稿では,静的なシーンにおける静止イベントカメラを用いて,高密度画像変換を行うイベントを初めて実現した。
  論文  参考訳（メタデータ） (2024-03-11T05:29:46Z)
• Exposure Bracketing is All You Need for Unifying Image Restoration and Enhancement Tasks [50.822601495422916]
  本稿では,露光ブラケット写真を利用して画像復元と拡張作業を統合することを提案する。 実世界のペアの収集が困難であるため,まず合成ペアデータを用いてモデルを事前学習する手法を提案する。 特に,時間変調リカレントネットワーク(TMRNet)と自己教師あり適応手法を提案する。
  論文  参考訳（メタデータ） (2024-01-01T14:14:35Z)
• Event-based Continuous Color Video Decompression from Single Frames [38.59798259847563]
  本研究では,イベントカメラを用いて,単一の静的RGB画像から連続映像を生成する新しい手法であるContinuityCamを提案する。 提案手法は、連続した長距離動きモデリングと特徴平面に基づくニューラル統合モデルを組み合わせることで、イベント内の任意のタイミングでフレーム予測を可能にする。
  論文  参考訳（メタデータ） (2023-11-30T18:59:23Z)
• Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography [54.36608424943729]
  2秒で取得した12メガピクセルのRAWフレームの「長バースト」では,自然手震動のみからの視差情報で高品質のシーン深度を回復できることが示されている。 我々は、長時間バーストデータにニューラルRGB-D表現を適合させるテスト時間最適化手法を考案し、シーン深度とカメラモーションを同時に推定する。
  論文  参考訳（メタデータ） (2022-12-22T18:54:34Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Image Reconstruction from Events. Why learn it? [11.773972029187433]
  動き推定の連立問題への取り組みが,線形逆問題としてイベントベース画像再構成のモデル化につながることを示す。 そこで本稿では,古典的・学習的な画像先行情報を用いて,その問題を解決し,再構成画像からアーティファクトを除去する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T14:01:09Z)
• Event-based Motion Segmentation with Spatio-Temporal Graph Cuts [51.17064599766138]
  イベントベースカメラで取得したオブジェクトを独立に識別する手法を開発した。 この方法は、予想される移動物体の数を事前に決定することなく、技術状態よりも同等以上の性能を発揮する。
  論文  参考訳（メタデータ） (2020-12-16T04:06:02Z)
• Learning Monocular Dense Depth from Events [53.078665310545745]
  イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。 最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。 本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-16T12:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。