論文の概要: egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks

• arxiv url: http://arxiv.org/abs/2502.20879v2
• Date: Wed, 06 Aug 2025 07:45:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-07 15:43:07.917035
• Title: egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks
• Title（参考訳）: egoPPG:エゴセントリックシステムにおける視線追跡カメラの心拍数推定と下流視機能
• Authors: Björn Braun, Rayan Armani, Manuel Meier, Max Moebus, Christian Holz,
• Abstract要約: エゴセントリックな視覚システムは、動き、活動、相互作用を含む周囲と着用者の行動を理解することを目的としている。 我々は、自我中心のシステムは、人の注意と状況に対する反応を捉えるために、生理的状態を付加的に検出する必要があると論じている。 我々は,眼球運動追跡カメラから心電図の生理状態の指標として心拍数を抽出するPulseFormerを紹介する。
• 参考スコア（独自算出の注目度）: 19.969886981165754
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Egocentric vision systems aim to understand the spatial surroundings and the wearer's behavior inside it, including motions, activities, and interactions. We argue that egocentric systems must additionally detect physiological states to capture a person's attention and situational responses, which are critical for context-aware behavior modeling. In this paper, we propose egoPPG, a novel vision task for egocentric systems to recover a person's cardiac activity to aid downstream vision tasks. We introduce PulseFormer, a method to extract heart rate as a key indicator of physiological state from the eye tracking cameras on unmodified egocentric vision systems. PulseFormer continuously estimates the photoplethysmogram (PPG) from areas around the eyes and fuses motion cues from the headset's inertial measurement unit to track HR values. We demonstrate egoPPG's downstream benefit for a key task on EgoExo4D, an existing egocentric dataset for which we find PulseFormer's estimates of HR to improve proficiency estimation by 14%. To train and validate PulseFormer, we collected a dataset of 13+ hours of eye tracking videos from Project Aria and contact-based PPG signals as well as an electrocardiogram (ECG) for ground-truth HR values. Similar to EgoExo4D, 25 participants performed diverse everyday activities such as office work, cooking, dancing, and exercising, which induced significant natural motion and HR variation (44-164 bpm). Our model robustly estimates HR (MAE=7.67 bpm) and captures patterns (r=0.85). Our results show how egocentric systems may unify environmental and physiological tracking to better understand users and that egoPPG as a complementary task provides meaningful augmentations for existing datasets and tasks. We release our code, dataset, and HR augmentations for EgoExo4D to inspire research on physiology-aware egocentric tasks.
• Abstract（参考訳）: エゴセントリックな視覚システムは、運動、活動、相互作用を含む空間的環境と着用者の行動を理解することを目的としている。 我々は、エゴセントリックシステムは、文脈認識行動モデリングにおいて重要な、人の注意と状況に対する反応を捉えるために、生理的状態を付加的に検出する必要があると論じている。 本稿では,自我中心型システムのための新しい視覚タスクであるegoPPGを提案する。 我々は、修正されていない自己中心型視覚システムにおいて、眼球追跡カメラから生理状態の指標として心拍数を抽出する手法であるPulseFormerを紹介した。 PulseFormerは、視線周辺の領域から光胸腺図(PPG)を継続的に推定し、ヘッドセットの慣性測定ユニットからのモーションキューを融合してHR値を追跡する。 EgoExo4Dは、PulseFormerのHR推定値を見つけ、熟練度推定を14%改善する、既存のエゴセントリックデータセットである。 我々はPulseFormerをトレーニングし、評価するために、Project AriaとコンタクトベースPSG信号から13時間以上の視線追跡ビデオのデータセットと、地中HR値の心電図(ECG)を収集した。 EgoExo4Dと同様に、25人の参加者がオフィスワーク、料理、ダンス、運動などの様々な日常活動を行い、これは大きな自然運動と人事変動(44-164 bpm)を引き起こした。 我々のモデルはHR(MAE=7.67 bpm)を強く推定し、パターンをキャプチャする(r=0.85)。 以上の結果から,エゴセントリックシステムは環境・生理的トラッキングを統合してユーザをよりよく理解し,egoPPGを補完タスクとして,既存のデータセットやタスクに有意義な拡張を提供することを示す。 EgoExo4Dのためのコード、データセット、人事強化をリリースし、生理学を意識したエゴセントリックなタスクの研究を刺激します。

関連論文リスト

• EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding [43.66860935790616]
  EgoExORは、ファーストパーソンとサードパーソンの視点を融合する最初のオペレーティングルーム(OR)データセットである。 それは、ウェアラブルグラスからの自我中心データ(RGB、視線、ハンドトラッキング、オーディオ)、RGB-Dカメラからの遠心的RGBと奥行き、そして超音波画像を統合する。 2つの応用された最先端モデルの手術シーングラフ生成性能を評価する。
  論文  参考訳（メタデータ） (2025-05-30T07:02:00Z)
• EchoWorld: Learning Motion-Aware World Models for Echocardiography Probe Guidance [79.66329903007869]
  本稿では,プローブ誘導のためのモーションアウェアな世界モデリングフレームワークであるEchoWorldを紹介する。 解剖学的な知識と運動によって引き起こされる視覚力学を符号化する。 200以上の定期的なスキャンから100万枚以上の超音波画像で訓練されている。
  論文  参考訳（メタデータ） (2025-04-17T16:19:05Z)
• EgoLife: Towards Egocentric Life Assistant [60.51196061794498]
  我々はEgoLifeを紹介した。EgoLifeは、AIを使ったウェアラブルグラスを通じて、個人の効率を向上するエゴセントリックなライフアシスタントを開発するプロジェクトだ。 我々は、6人の参加者が1週間一緒に暮らし、マルチモーダル・エゴセントリックなビデオキャプチャーにAIグラスを使用して日々の活動を継続的に記録し、同期された3人称ビデオ参照を行う総合的なデータ収集研究を行った。 この取り組みの結果、EgoLifeデータセットは、集中的なアノテーションを備えた300時間のエゴセントリック、対人、マルチビュー、マルチモーダルの日常生活データセットである。 私たちはEgoLifeQAを紹介します。EgoLifeQAは、長いコンテキスト、ライフ指向の質問応答タスクのスイートで、提供するように設計されています。
  論文  参考訳（メタデータ） (2025-03-05T18:54:16Z)
• Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• Chaos in Motion: Unveiling Robustness in Remote Heart Rate Measurement through Brain-Inspired Skin Tracking [7.688280190165613]
  既存の遠隔心拍測定法には3つの深刻な問題がある。 コンピュータビジョンタスクにカオス理論を初めて適用し、脳にインスパイアされたフレームワークとなる。 本手法はHR-RSTと呼ばれる心拍計測のためのロバスト皮膚追跡を実現する。
  論文  参考訳（メタデータ） (2024-04-11T12:26:10Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• BI AVAN: Brain inspired Adversarial Visual Attention Network [67.05560966998559]
  機能的脳活動から直接人間の視覚的注意を特徴付ける脳誘発対人視覚注意ネットワーク(BI-AVAN)を提案する。 本モデルは,人間の脳が監督されていない方法で焦点を絞った映画フレーム内の視覚的物体を識別・発見するために,注意関連・無視対象間の偏りのある競合過程を模倣する。
  論文  参考訳（メタデータ） (2022-10-27T22:20:36Z)
• Leveraging Human Selective Attention for Medical Image Analysis with Limited Training Data [72.1187887376849]
  選択的な注意機構は、注意散らしの存在を無視することで、認知システムがタスク関連視覚的手がかりに焦点を合わせるのに役立つ。 本稿では,医療画像解析タスクにおいて,小さなトレーニングデータを用いたガベージを利用したフレームワークを提案する。 本手法は腫瘍の3次元分割と2次元胸部X線分類において優れた性能を示す。
  論文  参考訳（メタデータ） (2021-12-02T07:55:25Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Self-supervised transfer learning of physiological representations from free-living wearable data [12.863826659440026]
  意味ラベルのない活動・心拍(HR)信号を用いた新しい自己教師型表現学習法を提案する。 我々は、我々のモデルを、最大の自由生活複合センシングデータセット(手首加速度計とウェアラブル心電図データによる280k時間)で評価する。
  論文  参考訳（メタデータ） (2020-11-18T23:21:34Z)
• Learning Generalizable Physiological Representations from Large-scale Wearable Data [12.863826659440026]
  意味ラベルのない活動・心拍(HR)信号を用いた新しい自己教師型表現学習法を提案する。 その結果, 線形分類器を用いた伝達学習により, 様々な下流タスクにおいて, 埋め込みが一般化できることが示唆された。 本研究は,大規模健康・ライフスタイルモニタリングに寄与する行動・生理的データに対する,最初のマルチモーダル自己管理手法を提案する。
  論文  参考訳（メタデータ） (2020-11-09T17:56:03Z)
• Sensorimotor Visual Perception on Embodied System Using Free Energy Principle [0.0]
  本稿では,視覚知覚のための自由エネルギー原理(FEP)に基づく具体化システムを提案する。 MNISTデータセットを用いて文字認識タスクで評価する。
  論文  参考訳（メタデータ） (2020-06-11T05:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。