Fugu-MT 論文翻訳(概要): SpikeMM: Flexi-Magnification of High-Speed Micro-Motions

論文の概要: SpikeMM: Flexi-Magnification of High-Speed Micro-Motions

arxiv url: http://arxiv.org/abs/2406.00383v1
Date: Sat, 1 Jun 2024 09:42:37 GMT
ステータス: 処理完了
システム内更新日: 2024-06-06 07:24:46.687798
Title: SpikeMM: Flexi-Magnification of High-Speed Micro-Motions
Title（参考訳）: SpikeMM: 高速マイクロモーションのフレキシ化
Authors: Baoyue Zhang, Yajing Zheng, Shiyan Chen, Jiyuan Zhang, Kang Chen, Zhaofei Yu, Tiejun Huang,
Abstract要約: 本稿では,高速運動倍率に特化して最適化されたスパイクに基づくアルゴリズムであるSpikeMMを紹介する。 SpikeMMは、多レベル情報抽出、空間的アップサンプリング、モーション倍率モジュールを統合し、幅広いシナリオに対して自己調整可能なアプローチを提供する。本研究では,スパイクカメラが捉えたシーンの厳密な検証を通じてSpikeMMの有効性を実証し,実世界の高周波数環境における動きを拡大する能力を示す。
参考スコア（独自算出の注目度）: 44.02794438687478
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The amplification of high-speed micro-motions holds significant promise, with applications spanning fault detection in fast-paced industrial environments to refining precision in medical procedures. However, conventional motion magnification algorithms often encounter challenges in high-speed scenarios due to low sampling rates or motion blur. In recent years, spike cameras have emerged as a superior alternative for visual tasks in such environments, owing to their unique capability to capture temporal and spatial frequency domains with exceptional fidelity. Unlike conventional cameras, which operate at fixed, low frequencies, spike cameras emulate the functionality of the retina, asynchronously capturing photon changes at each pixel position using spike streams. This innovative approach comprehensively records temporal and spatial visual information, rendering it particularly suitable for magnifying high-speed micro-motions.This paper introduces SpikeMM, a pioneering spike-based algorithm tailored specifically for high-speed motion magnification. SpikeMM integrates multi-level information extraction, spatial upsampling, and motion magnification modules, offering a self-supervised approach adaptable to a wide range of scenarios. Notably, SpikeMM facilitates seamless integration with high-performance super-resolution and motion magnification algorithms. We substantiate the efficacy of SpikeMM through rigorous validation using scenes captured by spike cameras, showcasing its capacity to magnify motions in real-world high-frequency settings.
Abstract（参考訳）: 高速マイクロモーションの増幅は、高速な産業環境における故障検出と医療手順の精密化にまたがる応用において、大きな可能性を秘めている。しかし、従来の動き倍率アルゴリズムはサンプリングレートの低下や動きのぼかしによる高速シナリオの課題にしばしば遭遇する。近年、スパイクカメラは、時間的および空間的な周波数領域を異常な忠実さで捉える能力により、このような環境における視覚的タスクの優れた代替手段として出現している。固定周波数の低周波数で動作する従来のカメラとは異なり、スパイクカメラは網膜の機能をエミュレートし、スパイクストリームを使用して各ピクセル位置の光子変化を非同期にキャプチャする。この革新的なアプローチは、時間的および空間的な視覚情報を包括的に記録し、特に高速なマイクロモーションを拡大するのに適している。 SpikeMMは、多レベル情報抽出、空間的アップサンプリング、モーション倍率モジュールを統合し、幅広いシナリオに適応可能な自己教師型アプローチを提供する。特に、SpikeMMは高性能超解像および運動倍率アルゴリズムとのシームレスな統合を容易にする。本研究では,スパイクカメラが捉えたシーンの厳密な検証を通じてSpikeMMの有効性を実証し,実世界の高周波数環境における動きを拡大する能力を示す。

関連論文リスト

Towards Real-world Event-guided Low-light Video Enhancement and Deblurring [39.942568142125126]
イベントカメラは、低照度環境における画質向上のための有望なソリューションとして登場した。これらのタスクを効果的に処理するためのエンドツーエンドフレームワークを導入します。我々のフレームワークは、イベントやフレームからの時間情報を効率的に活用するためのモジュールを組み込んでいます。
論文参考訳（メタデータ） (2024-08-27T09:44:54Z)
SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
論文参考訳（メタデータ） (2024-03-12T11:32:57Z)
Frequency Decoupling for Motion Magnification via Multi-Level Isomorphic Architecture [42.51987004849891]
Video Motion Magnificationは、マクロ世界の物体の微妙で知覚できない動き情報を明らかにすることを目的としている。動作拡大のための周波数デカップリングの新しいパラダイムであるFD4MMについて述べる。 FD4MMはFLOPを1.63$times$に削減し、推論速度を1.68$times$に向上させる。
論文参考訳（メタデータ） (2024-03-12T06:07:29Z)
Event-Based Motion Magnification [28.057537257958963]
イベントカメラと従来のRGBカメラを組み合わせたデュアルカメラシステムを提案する。この革新的な組み合わせは、広範かつ費用対効果の高い高周波運動の増幅を可能にする。両カメラシステムとネットワークの有効性と精度を実証し、モーション検出と倍率化のための費用対効果とフレキシブルなソリューションを提供する。
論文参考訳（メタデータ） (2024-02-19T08:59:58Z)
EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation [57.539634387672656]
現在の最先端生成拡散モデルでは、優れた結果が得られたが、品質を犠牲にすることなく、高速な生成に苦慮している。高速かつ高品質な人体運動生成のための効率的な運動拡散モデル(EMDM)を提案する。
論文参考訳（メタデータ） (2023-12-04T18:58:38Z)
SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文参考訳（メタデータ） (2023-09-29T05:13:43Z)
Robust e-NeRF: NeRF from Sparse & Noisy Events under Non-Uniform Motion [67.15935067326662]
イベントカメラは低電力、低レイテンシ、高時間解像度、高ダイナミックレンジを提供する。 NeRFは効率的かつ効果的なシーン表現の第一候補と見なされている。本稿では,移動イベントカメラからNeRFを直接かつ堅牢に再構成する新しい手法であるRobust e-NeRFを提案する。
論文参考訳（メタデータ） (2023-09-15T17:52:08Z)
Recovering Continuous Scene Dynamics from A Single Blurry Image with Events [58.7185835546638]
インプリシットビデオ関数(IVF)は、同時イベントを伴う単一の動きのぼやけた画像を表現する。両モードの利点を効果的に活用するために、二重注意変換器を提案する。提案するネットワークは,限られた参照タイムスタンプの地平線画像の監督のみで訓練される。
論文参考訳（メタデータ） (2023-04-05T18:44:17Z)
Video frame interpolation for high dynamic range sequences captured with dual-exposure sensors [24.086089662881044]
ビデオフレーム(VFI)は、時間領域を含む多くの重要なアプリケーションを可能にする。重要な課題の1つは、複雑な動きの存在下で高いダイナミックレンジシーンを扱うことである。
論文参考訳（メタデータ） (2022-06-19T20:29:34Z)
ESL: Event-based Structured Light [62.77144631509817]
イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
論文参考訳（メタデータ） (2021-11-30T15:47:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。