論文の概要: Event-Based Motion Magnification
- arxiv url: http://arxiv.org/abs/2402.11957v2
- Date: Tue, 23 Jul 2024 13:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 23:03:22.929193
- Title: Event-Based Motion Magnification
- Title（参考訳）: イベントベース・モーション・マグニフィケーション
- Authors: Yutian Chen, Shi Guo, Fangzheng Yu, Feng Zhang, Jinwei Gu, Tianfan Xue,
- Abstract要約: イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
- 参考スコア（独自算出の注目度）: 28.057537257958963
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Detecting and magnifying imperceptible high-frequency motions in real-world scenarios has substantial implications for industrial and medical applications. These motions are characterized by small amplitudes and high frequencies. Traditional motion magnification methods rely on costly high-speed cameras or active light sources, which limit the scope of their applications. In this work, we propose a dual-camera system consisting of an event camera and a conventional RGB camera for video motion magnification, providing temporally-dense information from the event stream and spatially-dense data from the RGB images. This innovative combination enables a broad and cost-effective amplification of high-frequency motions. By revisiting the physical camera model, we observe that estimating motion direction and magnitude necessitates the integration of event streams with additional image features. On this basis, we propose a novel deep network tailored for event-based motion magnification. Our approach utilizes the Second-order Recurrent Propagation module to proficiently interpolate multiple frames while addressing artifacts and distortions induced by magnified motions. Additionally, we employ a temporal filter to distinguish between noise and useful signals, thus minimizing the impact of noise. We also introduced the first event-based motion magnification dataset, which includes a synthetic subset and a real-captured subset for training and benchmarking. Through extensive experiments in magnifying small-amplitude, high-frequency motions, we demonstrate the effectiveness and accuracy of our dual-camera system and network, offering a cost-effective and flexible solution for motion detection and magnification.
- Abstract（参考訳）: 実世界のシナリオにおける知覚不能な高周波運動の検出と拡大は、産業や医療の応用に重大な影響を及ぼす。
これらの動きは、小さな振幅と高い周波数で特徴づけられる。
従来の動きの倍率法は高価な高速カメラや能動光源に依存しており、適用範囲を制限している。
本研究では,イベントカメラと従来のRGBカメラからなるデュアルカメラシステムを提案し,イベントストリームから時間重み情報とRGB画像から空間重みデータを提供する。
この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。
物理カメラモデルを再考することにより、動き方向と大きさを推定することは、イベントストリームと付加的な画像特徴の統合を必要とすることを観察する。
そこで本研究では,イベントベースの動き拡大に適した新しいディープネットワークを提案する。
提案手法では,2次リカレント・プロパゲーション・モジュールを用いて複数のフレームを補間し,拡大運動によって誘導されるアーチファクトや歪みに対処する。
さらに、ノイズと有用な信号の区別に時間フィルタを用い、ノイズの影響を最小限に抑える。
我々はまた、トレーニングとベンチマークのための合成サブセットと実際のキャプチャーサブセットを含む、最初のイベントベースの運動倍率データセットも導入した。
小型で高周波な動きを拡大する広範囲な実験を通じて、我々のデュアルカメラシステムとネットワークの有効性と精度を実証し、動きの検出と倍率化のための費用対効果と柔軟なソリューションを提供する。
関連論文リスト
- Towards Real-world Event-guided Low-light Video Enhancement and Deblurring [39.942568142125126]
イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。
これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。
我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
論文 参考訳（メタデータ） (2024-08-27T09:44:54Z) - SpikeMM: Flexi-Magnification of High-Speed Micro-Motions [44.02794438687478]
本稿では,高速運動倍率に特化して最適化されたスパイクに基づくアルゴリズムであるSpikeMMを紹介する。
SpikeMMは、多レベル情報抽出、空間的アップサンプリング、モーション倍率モジュールを統合し、幅広いシナリオに対して自己調整可能なアプローチを提供する。
本研究では,スパイクカメラが捉えたシーンの厳密な検証を通じてSpikeMMの有効性を実証し,実世界の高周波数環境における動きを拡大する能力を示す。
論文 参考訳（メタデータ） (2024-06-01T09:42:37Z) - Motion Segmentation for Neuromorphic Aerial Surveillance [42.04157319642197]
イベントカメラは優れた時間分解能、優れたダイナミックレンジ、最小限の電力要件を提供する。
固定間隔で冗長な情報をキャプチャする従来のフレームベースのセンサーとは異なり、イベントカメラは画素レベルの明るさ変化を非同期に記録する。
本稿では,イベントデータと光フロー情報の両方に自己監督型視覚変換器を利用する動き分割手法を提案する。
論文 参考訳（メタデータ） (2024-05-24T04:36:13Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。
NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。
本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文 参考訳（メタデータ） (2023-09-15T17:52:08Z) - Joint Video Multi-Frame Interpolation and Deblurring under Unknown
Exposure Time [101.91824315554682]
本研究では,より現実的で挑戦的なタスク – 複数フレームのジョイントビデオと,未知の露光時間下での劣化 – を野心的に目標とする。
我々はまず,入力されたぼやけたフレームから露出認識表現を構築するために,教師付きコントラスト学習の変種を採用する。
次に、プログレッシブ露光適応型畳み込みと動き改善による露出と動きの表現に基づいて、映像再構成ネットワークを構築した。
論文 参考訳（メタデータ） (2023-03-27T09:43:42Z) - Video frame interpolation for high dynamic range sequences captured with
dual-exposure sensors [24.086089662881044]
ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。
重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
論文 参考訳（メタデータ） (2022-06-19T20:29:34Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳（メタデータ） (2021-12-07T09:43:08Z) - ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。
本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文 参考訳（メタデータ） (2021-11-30T15:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。