論文の概要: A Multimodal RGB and Events Dataset for Hand Detection in First-Person View
- arxiv url: http://arxiv.org/abs/2606.10790v1
- Date: Tue, 09 Jun 2026 12:40:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.496444
- Title: A Multimodal RGB and Events Dataset for Hand Detection in First-Person View
- Title（参考訳）: 初対人視点における手検出のためのマルチモーダルRGBとイベントデータセット
- Authors: Bharghav Kota, Yulia Sandamirskaya,
- Abstract要約: 既存の手検出アルゴリズムは画像に作用し、検出率はカメラのフレームレートによって制限される。
近年の研究では、イベントベースとフレームベースのカメラのステレオ設定により、検出精度と帯域幅レイテンシのトレードオフが改善されている。
本稿では,エゴセントリック・ファースト・パーソナリティの観点から,その方法論と模範的なイベントベースハンドデータセットを提案する。
- 参考スコア（独自算出の注目度）: 2.5043709580004787
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing hand detection algorithms work on images and the detection rate is restricted by the frame rate of the camera. In hand detection applications for moving robotic systems, conventional cameras cause motion blur, especially in darker lighting conditions. We can leverage the use of event-based cameras which possess a high dynamic range, high temporal resolution, and low power consumption. Recent work has shown that using a stereo setup of an event-based and a frame-based camera improves detection accuracy and the bandwidth-latency tradeoff. The main bottleneck in using event-based cameras in object detection and recognition tasks is a relatively low amount of training data. In this work, we propose a methodology and an exemplary synthetic event-based hand dataset from an egocentric, first-person view perspective. The data is synthesized from the existing RGB Egohands dataset with the v2e toolbox. Parameters of the v2e toolbox are varied to provide versions of the dataset with different lighting conditions and scales. Ground truth detections are generated with a fine-tuned YOLOv8 model which is applied to the RGB images in the Egohands dataset and interpolated on the high-temporal resolution events. We use the multi-modal dataset to perform hand detection with existing object detection algorithms which use a multi-modal setup of event and RGB cameras and demonstrate performance comparable to the state-of-the-art.
- Abstract（参考訳）: 既存の手検出アルゴリズムは画像に作用し、検出率はカメラのフレームレートによって制限される。
移動ロボットシステムにおける手検出の応用において、従来のカメラは特に暗い照明条件において動きのぼやけを引き起こす。
我々は,高ダイナミックレンジ,高時間分解能,低消費電力のイベントベースカメラを利用することができる。
近年の研究では、イベントベースとフレームベースカメラのステレオ設定により、検出精度と帯域幅レイテンシのトレードオフが改善されている。
オブジェクト検出および認識タスクでイベントベースのカメラを使用する際のボトルネックは、比較的少ないトレーニングデータである。
本研究では,エゴセントリック・ファースト・パーソナリティの観点から,その方法論と模範的なイベントベースハンドデータセットを提案する。
データは既存のRGB Egohandsデータセットからv2eツールボックスで合成される。
v2eツールボックスのパラメータは、異なる照明条件とスケールのデータセットのバージョンを提供するために変更される。
EgohandsデータセットのRGB画像に適用し、高時間分解能イベントに補間する、微調整されたYOLOv8モデルを用いて、地中真理検出を生成する。
我々は、イベントとRGBカメラのマルチモーダルセットアップを用いて、既存のオブジェクト検出アルゴリズムで手検出を行い、最先端技術に匹敵する性能を示すために、マルチモーダルデータセットを使用します。
関連論文リスト
- EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。
イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。
当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
論文 参考訳（メタデータ） (2026-05-21T08:12:04Z) - Exploring Spatial-Temporal Dynamics in Event-based Facial Micro-Expression Analysis [0.0]
我々は,RGBとイベントカメラを同期して記録した,新しい,予備的なマルチレゾリューションおよびマルチモーダルマイクロ圧縮データセットを提案する。
イベントベースのデータは,マイクロ圧縮認識やフレーム再構成に利用できることを示す。
論文 参考訳（メタデータ） (2025-08-16T09:03:20Z) - EventAid: Benchmarking Event-aided Image/Video Enhancement Algorithms
with Real-captured Hybrid Dataset [55.12137324648253]
イベントカメラは、ダイナミックレンジとセンサーの速度で従来のフレームベースの撮像センサーよりも有利な、新興のイメージング技術である。
本稿では,5つのイベント支援画像と映像強調タスクに焦点を当てる。
論文 参考訳（メタデータ） (2023-12-13T15:42:04Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Deformable Neural Radiance Fields using RGB and Event Cameras [65.40527279809474]
我々は,RGBとイベントカメラを用いた変形可能なニューラル放射場をモデル化する新しい手法を開発した。
提案手法は,イベントの非同期ストリームと疎RGBフレームを用いる。
現実的にレンダリングされたグラフィックと実世界のデータセットの両方で実施された実験は、提案手法の有益性を実証している。
論文 参考訳（メタデータ） (2023-09-15T14:19:36Z) - Dual Memory Aggregation Network for Event-Based Object Detection with
Learnable Representation [79.02808071245634]
イベントベースのカメラはバイオインスパイアされたセンサーで、各ピクセルの明るさ変化を非同期に捉える。
イベントストリームは、正極性と負極性の両方のためにx-y-t座標の格子に分割され、3次元テンソル表現として柱の集合が生成される。
長メモリは適応型convLSTMの隠れ状態に符号化され、短メモリはイベントピラー間の空間的時間的相関を計算することによってモデル化される。
論文 参考訳（メタデータ） (2023-03-17T12:12:41Z) - Moving Object Detection for Event-based vision using Graph Spectral
Clustering [6.354824287948164]
移動物体検出は、幅広い応用のためのコンピュータビジョンにおける中心的な話題となっている。
イベントベースデータにおける移動物体検出のための教師なしグラフスペクトルクラスタリング手法を提案する。
さらに,移動物体の最適個数を自動決定する方法について述べる。
論文 参考訳（メタデータ） (2021-09-30T10:19:22Z) - Learning Monocular Dense Depth from Events [53.078665310545745]
イベントカメラは、強度フレームではなく、非同期イベントのストリームの形式で輝度を変化させる。
最近の学習に基づくアプローチは、単眼深度予測のようなイベントベースのデータに適用されている。
本稿では,この課題を解決するための繰り返しアーキテクチャを提案し,標準フィードフォワード法よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-10-16T12:36:23Z) - Learning to Detect Objects with a 1 Megapixel Event Camera [14.949946376335305]
イベントカメラは、高時間精度、低データレート、高ダイナミックレンジで視覚情報を符号化する。
フィールドの新規性のため、多くのビジョンタスクにおけるイベントベースのシステムの性能は、従来のフレームベースのソリューションに比べて依然として低い。
論文 参考訳（メタデータ） (2020-09-28T16:03:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。