論文の概要: From Sim-to-Real: Toward General Event-based Low-light Frame Interpolation with Per-scene Optimization

• arxiv url: http://arxiv.org/abs/2406.08090v2
• Date: Thu, 12 Sep 2024 12:18:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 21:31:38.094734
• Title: From Sim-to-Real: Toward General Event-based Low-light Frame Interpolation with Per-scene Optimization
• Title（参考訳）: Sim-to-Real: シーンごとの最適化による汎用イベントベース低照度フレーム補間に向けて
• Authors: Ziran Zhang, Yongrui Ma, Yueting Chen, Feng Zhang, Jinwei Gu, Tianfan Xue, Shi Guo,
• Abstract要約: 低照度条件に適したシーンごとの最適化手法を提案する。 その結果,低照度環境における最先端性能が示された。
• 参考スコア（独自算出の注目度）: 29.197409507402465
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Video Frame Interpolation (VFI) is important for video enhancement, frame rate up-conversion, and slow-motion generation. The introduction of event cameras, which capture per-pixel brightness changes asynchronously, has significantly enhanced VFI capabilities, particularly for high-speed, nonlinear motions. However, these event-based methods encounter challenges in low-light conditions, notably trailing artifacts and signal latency, which hinder their direct applicability and generalization. Addressing these issues, we propose a novel per-scene optimization strategy tailored for low-light conditions. This approach utilizes the internal statistics of a sequence to handle degraded event data under low-light conditions, improving the generalizability to different lighting and camera settings. To evaluate its robustness in low-light condition, we further introduce EVFI-LL, a unique RGB+Event dataset captured under low-light conditions. Our results demonstrate state-of-the-art performance in low-light environments. Project page: https://naturezhanghn.github.io/sim2real.
• Abstract（参考訳）: ビデオフレーム補間(VFI)は,映像強調,フレームレートアップ・コンバージョン,スローモーション生成において重要である。 画素ごとの明るさ変化を非同期にキャプチャするイベントカメラの導入は、特に高速で非線形な動きに対して、VFI機能を著しく向上させた。 しかしながら、これらのイベントベースの手法は、特に後続のアーティファクトや信号遅延といった、低照度環境での課題に直面する。 これらの課題に対処し、低照度条件に適した新しいシーンごとの最適化戦略を提案する。 このアプローチでは、列の内部統計を利用して、低照度条件下での劣化イベントデータを処理し、異なる照明やカメラ設定への一般化性を向上させる。 低照度条件下でのロバスト性を評価するために,低照度条件下でのRGB+EventデータセットであるEVFI-LLを導入する。 その結果,低照度環境における最先端性能が示された。 プロジェクトページ: https://naturezhanghn.github.io/sim2real

関連論文リスト

• Event-guided Low-light Video Semantic Segmentation [6.938849566816958]
  イベントカメラは、モーションダイナミクスをキャプチャし、時間依存情報をフィルタリングし、照明条件に対して堅牢である。 本稿では、イベントモダリティを利用した軽量なフレームワークであるEVSNetを提案し、統一照明不変表現の学習を指導する。 具体的には、動き抽出モジュールを利用して、事象のモーダルから短期・長期の時間的動きを抽出し、モーションフュージョンモジュールを用いて画像特徴と動き特徴を適応的に統合する。
  論文  参考訳（メタデータ） (2024-11-01T14:54:34Z)
• Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions [56.84882059011291]
  動き赤外イベントからぼやけた最小のNeRFを再構成する新しい手法であるDeblur e-NeRFを提案する。 また,大きなテクスチャレスパッチの正規化を改善するために,新しいしきい値正規化全変動損失を導入する。
  論文  参考訳（メタデータ） (2024-09-26T15:57:20Z)
• Event-assisted Low-Light Video Object Segmentation [47.28027938310957]
  イベントカメラは、このような低照度条件下でオブジェクトの可視性を高め、VOSメソッドを支援することを約束する。 本稿では、イベントカメラデータを利用してセグメンテーション精度を向上させる、低照度VOSに適した先駆的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-02T13:41:22Z)
• Implicit Event-RGBD Neural SLAM [54.74363487009845]
  神経性SLAMは近年顕著な進歩を遂げている。 既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。 本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
  論文  参考訳（メタデータ） (2023-11-18T08:48:58Z)
• Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
  イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。 本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-09-15T17:52:08Z)
• Revisiting Event-based Video Frame Interpolation [49.27404719898305]
  ダイナミックビジョンセンサーやイベントカメラは、ビデオフレームに豊富な補完情報を提供する。 イベントからの光の流れを推定することは、RGB情報より間違いなく困難である。 イベントベースの中間フレーム合成を複数の単純化段階において漸進的に行う分割・対数戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-24T06:51:07Z)
• PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with Point and Line Features [3.6355269783970394]
  イベントカメラは、フレームレートが固定された強度画像の代わりにピクセルレベルの照明変化をキャプチャするモーションアクティベートセンサーである。 本稿では,ロバストで高精度でリアルタイムな単眼イベントベース視覚慣性オドメトリー(VIO)法を提案する。
  論文  参考訳（メタデータ） (2022-09-25T06:14:12Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。