論文の概要: FlashCap: Millisecond-Accurate Human Motion Capture via Flashing LEDs and Event-Based Vision
- arxiv url: http://arxiv.org/abs/2603.19770v1
- Date: Fri, 20 Mar 2026 08:59:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.06398
- Title: FlashCap: Millisecond-Accurate Human Motion Capture via Flashing LEDs and Event-Based Vision
- Title(参考訳): FlashCap:LEDのフラッシュとイベントベースのビジョンによる、ミリ秒の正確な人間のモーションキャプチャ
- Authors: Zekai Wu, Shuqi Fan, Mengyin Liu, Yuhua Luo, Xincheng Lin, Ming Yan, Junhao Wu, Xiuhong Lin, Yuexin Ma, Chenglu Wen, Lan Xu, Siqi Shen, Cheng Wang,
- Abstract要約: ミリ秒差は、スポーツ競技における勝利または敗戦を決定することができる。
PMTはオリンピックのような特殊なシナリオで高速RGBカメラを用いて達成される。
PMTのための最初のフラッシュLEDベースのMoCapシステムであるFlashCapを開発した。
- 参考スコア(独自算出の注目度): 70.26305628326237
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Precise motion timing (PMT) is crucial for swift motion analysis. A millisecond difference may determine victory or defeat in sports competitions. Despite substantial progress in human pose estimation (HPE), PMT remains largely overlooked by the HPE community due to the limited availability of high-temporal-resolution labeled datasets. Today, PMT is achieved using high-speed RGB cameras in specialized scenarios such as the Olympic Games; however, their high costs, light sensitivity, bandwidth, and computational complexity limit their feasibility for daily use. We developed FlashCap, the first flashing LED-based MoCap system for PMT. With FlashCap, we collect a millisecond-resolution human motion dataset, FlashMotion, comprising the event, RGB, LiDAR, and IMU modalities, and demonstrate its high quality through rigorous validation. To evaluate the merits of FlashMotion, we perform two tasks: precise motion timing and high-temporal-resolution HPE. For these tasks, we propose ResPose, a simple yet effective baseline that learns residual poses based on events and RGBs. Experimental results show that ResPose reduces pose estimation errors by ~40% and achieves millisecond-level timing accuracy, enabling new research opportunities. The dataset and code will be shared with the community.
- Abstract(参考訳): 精密動作タイミング(PMT)は,迅速な動作解析に重要である。
ミリ秒差は、スポーツ競技における勝利または敗戦を決定することができる。
ヒトのポーズ推定(HPE)の大幅な進歩にもかかわらず、PMTは高時間分解能ラベル付きデータセットの可用性が限られているため、HPEコミュニティによってほとんど見落とされ続けている。
現在、PMTはオリンピックのような特殊なシナリオで高速なRGBカメラを用いて達成されているが、その高コスト、光感度、帯域幅、計算複雑性は日常使用の可能性を制限する。
PMT用のフラッシュLEDベースのMoCapシステムであるFlashCapを開発した。
FlashCapでは、イベント、RGB、LiDAR、IMUモダリティを含むミリ秒解像度の人間のモーションデータセットであるFlashMotionを収集し、厳密な検証によってその高品質を実証する。
FlashMotionの利点を評価するために、我々は、正確な動きタイミングと高時間分解能HPEの2つのタスクを実行する。
これらの課題に対して,イベントやRGBに基づいて残留ポーズを学習する,シンプルで効果的なベースラインであるResPoseを提案する。
実験結果から,ResPoseはポーズ推定誤差を約40%削減し,ミリ秒レベルのタイミング精度を実現し,新たな研究機会が得られた。
データセットとコードはコミュニティと共有される。
関連論文リスト
- Exploring Spatial-Temporal Dynamics in Event-based Facial Micro-Expression Analysis [0.0]
我々は,RGBとイベントカメラを同期して記録した,新しい,予備的なマルチレゾリューションおよびマルチモーダルマイクロ圧縮データセットを提案する。
イベントベースのデータは,マイクロ圧縮認識やフレーム再構成に利用できることを示す。
論文 参考訳(メタデータ) (2025-08-16T09:03:20Z) - Event-Driven Dynamic Scene Depth Completion [50.01494043834177]
EventDCは、最初のイベント駆動のディープコンプリートフレームワークである。
Event-Modulated Alignment (EMA) と Local Depth Filtering (LDF) の2つの重要なコンポーネントで構成されている。
論文 参考訳(メタデータ) (2025-05-19T16:02:37Z) - Quantitative evaluation of brain-inspired vision sensors in high-speed robotic perception [4.9554369813645325]
ロボット工学における知覚システムは、従来のカメラに依存する場合、高速でダイナミックな状況において重大な課題に直面する。
脳にインスパイアされた視覚センサ(BVS)は、帯域幅と電力を削減した高時間分解能を提供する代替手段として最近注目を集めている。
本稿では、可変速ロボットセンシングにおけるBVSの2つの代表的なクラスに対する最初の定量的評価フレームワークについて述べる。
論文 参考訳(メタデータ) (2025-04-27T14:24:06Z) - MATE: Motion-Augmented Temporal Consistency for Event-based Point Tracking [58.719310295870024]
本稿では,任意の点を追跡するイベントベースのフレームワークを提案する。
事象の間隔に起因する曖昧さを解決するため、運動誘導モジュールは運動ベクトルを局所的なマッチングプロセスに組み込む。
このメソッドは、任意のポイントベースラインのイベントのみのトラッキングに対して、$Survival_50$メトリックを17.9%改善する。
論文 参考訳(メタデータ) (2024-12-02T09:13:29Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳(メタデータ) (2023-09-29T05:13:43Z) - EV-Catcher: High-Speed Object Catching Using Low-latency Event-based
Neural Networks [107.62975594230687]
イベントカメラが優れており、高速移動物体の衝突位置を正確に推定するアプリケーションを実証する。
イベントデータを低レイテンシでエンコードするために,Binary Event History Image(BEHI)と呼ばれる軽量なイベント表現を導入する。
計算制約のある組込みプラットフォーム上でも最大13m/sの速さで, 異なる場所をターゲットとした球のキャッチにおいて, 81%の成功率を達成することができることを示す。
論文 参考訳(メタデータ) (2023-04-14T15:23:28Z) - E$^2$(GO)MOTION: Motion Augmented Event Stream for Egocentric Action
Recognition [21.199869051111367]
イベントカメラは「イベント」の形でピクセルレベルの強度変化を捉えます
N-EPIC-Kitchensは、大規模なEPIC-Kitchensデータセットの最初のイベントベースのカメラ拡張である。
イベントデータは、RGBと光フローに匹敵するパフォーマンスを提供するが、デプロイ時に追加のフロー計算を行わないことを示す。
論文 参考訳(メタデータ) (2021-12-07T09:43:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。