論文の概要: egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks

• arxiv url: http://arxiv.org/abs/2502.20879v1
• Date: Fri, 28 Feb 2025 09:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:41:52.503191
• Title: egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks
• Title（参考訳）: egoPPG:エゴセントリックシステムにおける視線追跡カメラの心拍数推定と下流視機能
• Authors: Björn Braun, Rayan Armani, Manuel Meier, Max Moebus, Christian Holz,
• Abstract要約: エゴセントリックな視覚システムは、その中の周囲と着用者の行動を理解することを目的としている。 エゴセンティブ型視覚システムのための新しい課題であるegoPulseを提案する。この課題は、着用者の生理状態の指標として、人の心拍数(HR)を抽出するものである。
• 参考スコア（独自算出の注目度）: 19.969886981165754
• License:
• Abstract: Egocentric vision systems aim to understand the spatial surroundings and the wearer's behavior inside it, including motions, activities, and interaction with objects. Since a person's attention and situational responses are influenced by their physiological state, egocentric systems must also detect this state for better context awareness. In this paper, we propose egoPPG, a novel task for egocentric vision systems to extract a person's heart rate (HR) as a key indicator of the wearer's physiological state from the system's built-in sensors (e.g., eye tracking videos). We then propose EgoPulseFormer, a method that solely takes eye-tracking video as input to estimate a person's photoplethysmogram (PPG) from areas around the eyes to track HR values-without requiring additional or dedicated hardware. We demonstrate the downstream benefit of EgoPulseFormer on EgoExo4D, where we find that augmenting existing models with tracked HR values improves proficiency estimation by 14%. To train and validate EgoPulseFormer, we collected a dataset of 13+ hours of eye-tracking videos from Project Aria and contact-based blood volume pulse signals as well as an electrocardiogram (ECG) for ground-truth HR values. 25 participants performed diverse everyday activities such as office work, cooking, dancing, and exercising, which induced significant natural motion and HR variation (44-164 bpm). Our model robustly estimates HR (MAE=8.82 bpm) and captures patterns (r=0.81). Our results show how egocentric systems may unify environmental and physiological tracking to better understand user actions and internal states.
• Abstract（参考訳）: エゴセントリックな視覚システムは、運動、活動、物体との相互作用を含む空間的環境と着用者の行動を理解することを目的としている。 人の注意と状況に対する反応は生理的状態に影響されるため、エゴセントリックシステムは文脈認識を改善するためにこの状態を検出する必要がある。 本稿では,自我中心型視覚システムのための新しいタスクであるegoPPGを提案する。このタスクは,装着者の生理状態の指標として,システム内蔵センサー(例えば,視線追跡ビデオ)から人の心拍数(HR)を抽出する。 次に、EgoPulseFormerを提案する。これは、視線追跡ビデオのみを入力として、目の周りの領域から人の光胸腺図(PPG)を推定し、追加のハードウェアや専用ハードウェアを必要とせずにHR値を追跡する方法である。 EgoExo4D上でのEgoPulseFormerのダウンストリームの利点を実証し、HR値が追跡された既存のモデルの強化により、習熟度が14%向上することを示した。 EgoPulseFormerをトレーニングし,評価するために,Project Ariaから13時間以上の視線追跡ビデオと接触型血液量パルス信号と,地中HR値の心電図(ECG)を収集した。 25名の被験者が,オフィスワーク,料理,ダンス,運動などの日常活動を行い,有意な自然運動と人事変動(44-164 bpm)を引き起こした。 我々のモデルはHR(MAE=8.82 bpm)を強く推定し、パターンをキャプチャする(r=0.81)。 以上の結果から,エゴセントリックシステムによって環境・生理的トラッキングが統合され,ユーザの行動や内部状態をよりよく理解できるようになる可能性が示唆された。

関連論文リスト

• Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• Chaos in Motion: Unveiling Robustness in Remote Heart Rate Measurement through Brain-Inspired Skin Tracking [7.688280190165613]
  既存の遠隔心拍測定法には3つの深刻な問題がある。 コンピュータビジョンタスクにカオス理論を初めて適用し、脳にインスパイアされたフレームワークとなる。 本手法はHR-RSTと呼ばれる心拍計測のためのロバスト皮膚追跡を実現する。
  論文  参考訳（メタデータ） (2024-04-11T12:26:10Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Learning Generalizable Physiological Representations from Large-scale Wearable Data [12.863826659440026]
  意味ラベルのない活動・心拍(HR)信号を用いた新しい自己教師型表現学習法を提案する。 その結果, 線形分類器を用いた伝達学習により, 様々な下流タスクにおいて, 埋め込みが一般化できることが示唆された。 本研究は,大規模健康・ライフスタイルモニタリングに寄与する行動・生理的データに対する,最初のマルチモーダル自己管理手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T17:56:03Z)
• Sensorimotor Visual Perception on Embodied System Using Free Energy Principle [0.0]
  本稿では,視覚知覚のための自由エネルギー原理(FEP)に基づく具体化システムを提案する。 MNISTデータセットを用いて文字認識タスクで評価する。
  論文  参考訳（メタデータ） (2020-06-11T05:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。