論文の概要: Event-Based Motion Magnification
- arxiv url: http://arxiv.org/abs/2402.11957v1
- Date: Mon, 19 Feb 2024 08:59:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:27:45.438258
- Title: Event-Based Motion Magnification
- Title（参考訳）: イベントベースモーション拡大
- Authors: Yutian Chen, Shi Guo, Fangzheng Yu, Feng Zhang, Jinwei Gu and Tianfan
Xue
- Abstract要約: 従来の動きの倍率法は高価な高速カメラや能動光源に依存しており、適用範囲を制限している。
本稿では、イベントストリームからの時間密度情報とRGB画像からの空間密度データを含む、イベントカメラと従来のRGBカメラからなるデュアルカメラシステムを提案する。
両カメラシステムとネットワークの有効性と精度を,低振幅,高周波動作を拡大する広範囲な実験により実証した。
- 参考スコア（独自算出の注目度）: 29.730210385814015
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting and magnifying imperceptible high-frequency motions in real-world
scenarios has substantial implications for industrial and medical applications.
These motions are characterized by small amplitudes and high frequencies.
Traditional motion magnification methods rely on costly high-speed cameras or
active light sources, which limit the scope of their applications. In this
work, we propose a dual-camera system consisting of an event camera and a
conventional RGB camera for video motion magnification, containing
temporally-dense information from the event stream and spatially-dense data
from the RGB images. This innovative combination enables a broad and
cost-effective amplification of high-frequency motions. By revisiting the
physical camera model, we observe that estimating motion direction and
magnitude necessitates the integration of event streams with additional image
features. On this basis, we propose a novel deep network for event-based video
motion magnification that addresses two primary challenges: firstly, the high
frequency of motion induces a large number of interpolated frames (up to 80),
which our network mitigates with a Second-order Recurrent Propagation module
for better handling of long-term frame interpolations; and secondly, magnifying
subtle motions is sensitive to noise, which we address by utilizing a temporal
filter to amplify motion at specific frequencies and reduce noise impact. We
demonstrate the effectiveness and accuracy of our dual-camera system and
network through extensive experiments in magnifying small-amplitude,
high-frequency motions, offering a cost-effective and flexible solution for
motion detection and magnification.
- Abstract（参考訳）: 実世界のシナリオにおける知覚不能な高周波運動の検出と拡大は、産業および医療応用に重大な影響を及ぼす。
これらの動きは小さな振幅と高い周波数で特徴づけられる。
従来の動き倍率法は高価な高速カメラや能動光源に依存しており、適用範囲を制限している。
本研究では,イベントストリームからの時間密度情報とRGB画像からの空間密度データを含む,イベントカメラと従来のRGBカメラからなるデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
物理カメラモデルの再検討により,動き方向と大きさの推定は,イベントストリームと追加画像特徴の統合を必要とすることがわかった。
On this basis, we propose a novel deep network for event-based video motion magnification that addresses two primary challenges: firstly, the high frequency of motion induces a large number of interpolated frames (up to 80), which our network mitigates with a Second-order Recurrent Propagation module for better handling of long-term frame interpolations; and secondly, magnifying subtle motions is sensitive to noise, which we address by utilizing a temporal filter to amplify motion at specific frequencies and reduce noise impact.
我々は、小型で高周波な動きを拡大する広範囲な実験を通じて、我々のデュアルカメラシステムとネットワークの有効性と精度を実証し、動き検出と倍率化のためのコスト効率と柔軟なソリューションを提供する。
関連論文リスト
- Towards Real-world Event-guided Low-light Video Enhancement and Deblurring [39.942568142125126]
イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。
これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
論文 参考訳（メタデータ） (2024-08-27T09:44:54Z) - SpikeMM: Flexi-Magnification of High-Speed Micro-Motions [44.02794438687478]
本稿では,高速運動倍率に特化して最適化されたスパイクに基づくアルゴリズムであるSpikeMMを紹介する。
SpikeMMは、多レベル情報抽出、空間的アップサンプリング、モーション倍率モジュールを統合し、幅広いシナリオに対して自己調整可能なアプローチを提供する。
本研究では,スパイクカメラが捉えたシーンの厳密な検証を通じてSpikeMMの有効性を実証し,実世界の高周波数環境における動きを拡大する能力を示す。
論文 参考訳（メタデータ） (2024-06-01T09:42:37Z) - Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T04:36:13Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Video frame interpolation for high dynamic range sequences captured with
dual-exposure sensors [24.086089662881044]
ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。
重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
論文 参考訳（メタデータ） (2022-06-19T20:29:34Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:43:08Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。