論文の概要: Event-assisted Low-Light Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2404.01945v1
- Date: Tue, 2 Apr 2024 13:41:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 16:19:00.878114
- Title: Event-assisted Low-Light Video Object Segmentation
- Title(参考訳): イベント支援低照度ビデオオブジェクトセグメンテーション
- Authors: Hebei Li, Jin Wang, Jiahui Yuan, Yue Li, Wenming Weng, Yansong Peng, Yueyi Zhang, Zhiwei Xiong, Xiaoyan Sun,
- Abstract要約: イベントカメラは、このような低照度条件下でオブジェクトの可視性を高め、VOSメソッドを支援することを約束する。
本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.28027938310957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the realm of video object segmentation (VOS), the challenge of operating under low-light conditions persists, resulting in notably degraded image quality and compromised accuracy when comparing query and memory frames for similarity computation. Event cameras, characterized by their high dynamic range and ability to capture motion information of objects, offer promise in enhancing object visibility and aiding VOS methods under such low-light conditions. This paper introduces a pioneering framework tailored for low-light VOS, leveraging event camera data to elevate segmentation accuracy. Our approach hinges on two pivotal components: the Adaptive Cross-Modal Fusion (ACMF) module, aimed at extracting pertinent features while fusing image and event modalities to mitigate noise interference, and the Event-Guided Memory Matching (EGMM) module, designed to rectify the issue of inaccurate matching prevalent in low-light settings. Additionally, we present the creation of a synthetic LLE-DAVIS dataset and the curation of a real-world LLE-VOS dataset, encompassing frames and events. Experimental evaluations corroborate the efficacy of our method across both datasets, affirming its effectiveness in low-light scenarios.
- Abstract(参考訳): ビデオオブジェクトセグメンテーション(VOS)の分野では、低照度条件下での操作の課題が持続し、クエリとメモリフレームを類似性計算で比較する場合、画像の品質が著しく低下し、精度が低下する。
イベントカメラは、高ダイナミックレンジとオブジェクトの動き情報をキャプチャする能力によって特徴付けられ、オブジェクトの可視性を高め、このような低照度条件下でのVOS手法を支援することを約束する。
本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
アダプティブ・クロスモーダル・フュージョン(ACMF)モジュールは、ノイズ干渉を軽減するために画像とイベントのモダリティを融合させながら、関連する特徴を抽出することを目的としており、イベントガイドメモリマッチング(EGMM)モジュールは、低照度で発生する不正確なマッチングの問題を修正するために設計されている。
さらに,合成LLE-DAVISデータセットの作成と,フレームやイベントを含む実世界のLLE-VOSデータセットのキュレーションについて述べる。
実験により,本手法の有効性を両データセットで検証し,低照度シナリオにおける有効性を確認した。
関連論文リスト
- Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。
提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。
合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-04-28T12:13:34Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳(メタデータ) (2023-11-18T08:48:58Z) - Enhancing Low-light Light Field Images with A Deep Compensation
Unfolding Network [52.77569396659629]
本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。
このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。
本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
論文 参考訳(メタデータ) (2023-08-10T07:53:06Z) - Revisiting Event-based Video Frame Interpolation [49.27404719898305]
ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。
イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。
イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
論文 参考訳(メタデータ) (2023-07-24T06:51:07Z) - Video Frame Interpolation with Stereo Event and Intensity Camera [40.07341828127157]
高品質な中間フレームを生成するための新しいステレオイベントベースVFIネットワーク(SE-VFI-Net)を提案する。
我々は,正確な光学的流れと不均一性推定を実現するために,融合した特徴を利用する。
提案するSEVFI-Netは最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2023-07-17T04:02:00Z) - Passive Non-line-of-sight Imaging for Moving Targets with an Event
Camera [0.0]
非視線イメージング(NLOS: Non-line-of-Sight Imaging)は、障害物や角の向こう側の物体を検出する新しい技術である。
受動NLOSの最近の研究は、主に定常測定と再構成方法に焦点を当てている。
イベントベースの受動NLOSイメージング手法を提案する。
論文 参考訳(メタデータ) (2022-09-27T10:56:14Z) - Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。
以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
論文 参考訳(メタデータ) (2022-08-24T09:39:55Z) - Ego-motion Estimation Based on Fusion of Images and Events [0.0]
イベントカメラは、イベントストリームを出力するバイオインスパイアされた新しい視覚センサーである。
EASと呼ばれる新しいデータ融合アルゴリズムを提案し、イベントストリームと従来の強度画像とを融合する。
論文 参考訳(メタデータ) (2022-07-12T15:10:28Z) - ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based
Motion Segmentation [101.19290845597918]
本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。
時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
論文 参考訳(メタデータ) (2022-03-22T13:40:26Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。