論文の概要: Event-assisted Low-Light Video Object Segmentation

• arxiv url: http://arxiv.org/abs/2404.01945v1
• Date: Tue, 2 Apr 2024 13:41:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:19:00.878114
• Title: Event-assisted Low-Light Video Object Segmentation
• Title（参考訳）: イベント支援低照度ビデオオブジェクトセグメンテーション
• Authors: Hebei Li, Jin Wang, Jiahui Yuan, Yue Li, Wenming Weng, Yansong Peng, Yueyi Zhang, Zhiwei Xiong, Xiaoyan Sun,
• Abstract要約: イベントカメラは、このような低照度条件下でオブジェクトの可視性を高め、VOSメソッドを支援することを約束する。 本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 47.28027938310957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the realm of video object segmentation (VOS), the challenge of operating under low-light conditions persists, resulting in notably degraded image quality and compromised accuracy when comparing query and memory frames for similarity computation. Event cameras, characterized by their high dynamic range and ability to capture motion information of objects, offer promise in enhancing object visibility and aiding VOS methods under such low-light conditions. This paper introduces a pioneering framework tailored for low-light VOS, leveraging event camera data to elevate segmentation accuracy. Our approach hinges on two pivotal components: the Adaptive Cross-Modal Fusion (ACMF) module, aimed at extracting pertinent features while fusing image and event modalities to mitigate noise interference, and the Event-Guided Memory Matching (EGMM) module, designed to rectify the issue of inaccurate matching prevalent in low-light settings. Additionally, we present the creation of a synthetic LLE-DAVIS dataset and the curation of a real-world LLE-VOS dataset, encompassing frames and events. Experimental evaluations corroborate the efficacy of our method across both datasets, affirming its effectiveness in low-light scenarios.
• Abstract（参考訳）: ビデオオブジェクトセグメンテーション(VOS)の分野では、低照度条件下での操作の課題が持続し、クエリとメモリフレームを類似性計算で比較する場合、画像の品質が著しく低下し、精度が低下する。 イベントカメラは、高ダイナミックレンジとオブジェクトの動き情報をキャプチャする能力によって特徴付けられ、オブジェクトの可視性を高め、このような低照度条件下でのVOS手法を支援することを約束する。 本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。 アダプティブ・クロスモーダル・フュージョン(ACMF)モジュールは、ノイズ干渉を軽減するために画像とイベントのモダリティを融合させながら、関連する特徴を抽出することを目的としており、イベントガイドメモリマッチング(EGMM)モジュールは、低照度で発生する不正確なマッチングの問題を修正するために設計されている。 さらに,合成LLE-DAVISデータセットの作成と,フレームやイベントを含む実世界のLLE-VOSデータセットのキュレーションについて述べる。 実験により,本手法の有効性を両データセットで検証し,低照度シナリオにおける有効性を確認した。

関連論文リスト

• Event-guided Low-light Video Semantic Segmentation [6.938849566816958]
  イベントカメラは、モーションダイナミクスをキャプチャし、時間依存情報をフィルタリングし、照明条件に対して堅牢である。 本稿では、イベントモダリティを利用した軽量なフレームワークであるEVSNetを提案し、統一照明不変表現の学習を指導する。 具体的には、動き抽出モジュールを利用して、事象のモーダルから短期・長期の時間的動きを抽出し、モーションフュージョンモジュールを用いて画像特徴と動き特徴を適応的に統合する。
  論文  参考訳（メタデータ） (2024-11-01T14:54:34Z)
• HUE Dataset: High-Resolution Event and Frame Sequences for Low-Light Vision [16.432164340779266]
  低照度条件下での高分解能イベントとフレームシーケンスのコレクションであるHUEデータセットを紹介する。 私たちのデータセットには、屋内、都市景観、トワイライト、夜、運転、制御されたシナリオを含む106のシーケンスが含まれています。 我々は定性評価と定量的評価の両方を用いて、最先端の低照度化と事象に基づく画像再構成手法を評価する。
  論文  参考訳（メタデータ） (2024-10-24T21:15:15Z)
• CMTA: Cross-Modal Temporal Alignment for Event-guided Video Deblurring [44.30048301161034]
  ビデオデブロアリングは、隣接するビデオフレームから情報を集めることで、モーションレッドビデオの復元結果の品質を高めることを目的としている。 1) フレーム内機能拡張は, 単一のぼやけたフレームの露出時間内で動作し, 2) フレーム間時間的特徴アライメントは, 重要な長期時間情報を対象のフレームに収集する。 提案手法は, 合成および実世界のデブロアリングデータセットを用いた広範囲な実験により, 最先端のフレームベースおよびイベントベース動作デブロアリング法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-27T10:09:17Z)
• Event-based Video Frame Interpolation with Edge Guided Motion Refinement [28.331148083668857]
  本稿では,イベント信号のエッジ特徴を効果的に活用するためのエンドツーエンドE-VFI学習手法を提案する。 提案手法にはエッジガイド・アテンテーティブ(EGA)モジュールが組み込まれており,アテンテーティブアグリゲーションによって推定された映像の動きを補正する。 合成データと実データの両方を用いた実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-04-28T12:13:34Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Enhancing Low-light Light Field Images with A Deep Compensation Unfolding Network [52.77569396659629]
  本稿では,低光環境下で撮像した光場(LF)画像の復元に,DCUNet(Deep compensation network openfolding)を提案する。 このフレームワークは、中間拡張結果を使用して照明マップを推定し、展開プロセスで新しい拡張結果を生成する。 本稿では,LF画像の特徴を適切に活用するために,擬似明示的特徴相互作用モジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-10T07:53:06Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• Event-based Image Deblurring with Dynamic Motion Awareness [10.81953574179206]
  露光時間における実RGBのぼかし画像と関連する事象のペアを含む最初のデータセットを紹介する。 以上の結果より,PSNRは合成データで1.57dB,実イベントデータで1.08dBまで改善された。
  論文  参考訳（メタデータ） (2022-08-24T09:39:55Z)
• ProgressiveMotionSeg: Mutually Reinforced Framework for Event-Based Motion Segmentation [101.19290845597918]
  本稿では,動作推定 (ME) モジュールとイベントデノイング (ED) モジュールを相互に強化された方法で共同最適化する。 時間的相関をガイダンスとして、EDモジュールは各イベントが実活動イベントに属するという信頼度を算出し、MEモジュールに送信し、ノイズ抑制のための運動セグメンテーションのエネルギー関数を更新する。
  論文  参考訳（メタデータ） (2022-03-22T13:40:26Z)
• Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
  本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。 生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。 われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
  論文  参考訳（メタデータ） (2021-09-06T17:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。