論文の概要: egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks

• arxiv url: http://arxiv.org/abs/2510.22129v1
• Date: Sat, 25 Oct 2025 03:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:14.829764
• Title: egoEMOTION: Egocentric Vision and Physiological Signals for Emotion and Personality Recognition in Real-World Tasks
• Title（参考訳）: egoEMOTION:実世界の課題における感情認識のための自我中心の視覚と生理信号
• Authors: Matthias Jammot, Bjöern Braun, Paul Streli, Rafael Wampfler, Christian Holz,
• Abstract要約: egoEMOTIONは、自我中心の視覚信号と生理信号と、感情と性格の密集した自己報告を結合する最初のデータセットである。 私たちのデータセットには43人の参加者から50時間以上の録音が含まれており、MetaのProject Ariaメガネを使って撮影されています。
• 参考スコア（独自算出の注目度）: 26.06615078274544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding affect is central to anticipating human behavior, yet current egocentric vision benchmarks largely ignore the person's emotional states that shape their decisions and actions. Existing tasks in egocentric perception focus on physical activities, hand-object interactions, and attention modeling - assuming neutral affect and uniform personality. This limits the ability of vision systems to capture key internal drivers of behavior. In this paper, we present egoEMOTION, the first dataset that couples egocentric visual and physiological signals with dense self-reports of emotion and personality across controlled and real-world scenarios. Our dataset includes over 50 hours of recordings from 43 participants, captured using Meta's Project Aria glasses. Each session provides synchronized eye-tracking video, headmounted photoplethysmography, inertial motion data, and physiological baselines for reference. Participants completed emotion-elicitation tasks and naturalistic activities while self-reporting their affective state using the Circumplex Model and Mikels' Wheel as well as their personality via the Big Five model. We define three benchmark tasks: (1) continuous affect classification (valence, arousal, dominance); (2) discrete emotion classification; and (3) trait-level personality inference. We show that a classical learning-based method, as a simple baseline in real-world affect prediction, produces better estimates from signals captured on egocentric vision systems than processing physiological signals. Our dataset establishes emotion and personality as core dimensions in egocentric perception and opens new directions in affect-driven modeling of behavior, intent, and interaction.
• Abstract（参考訳）: 感情を理解することは人間の行動を予測する上で重要であるが、現在の自我中心のビジョンベンチマークは、決定と行動を形成する人の感情状態を無視している。 エゴセントリックな知覚における既存のタスクは、中立的な影響と均一なパーソナリティを仮定して、身体活動、手動の相互作用、注意モデリングに焦点をあてる。 これにより、視覚系が行動の主要な内部ドライバを捕捉する能力を制限する。 本稿では、エゴ中心の視覚信号と生理信号と、制御された実世界のシナリオにまたがる感情と性格の密接な自己報告を結合する最初のデータセットであるegoEMOTIONを提案する。 私たちのデータセットには43人の参加者から50時間以上の録音が含まれており、MetaのProject Ariaメガネを使って撮影されています。 各セッションは、同期された視線追跡ビデオ、ヘッドマウントされた光胸腺撮影、慣性運動データ、および参照のための生理的ベースラインを提供する。 参加者は「Circumplex Model」と「Mikels' Wheel」と「Big Five Model」を使って感情的な状態を自己報告しながら、感情の緩和タスクと自然主義的な活動を完了した。 我々は,(1)連続的影響分類(有能,覚醒,支配),(2)離散的感情分類,(3)特性レベルの性格推定の3つのベンチマークタスクを定義した。 実世界の単純なベースラインである古典的学習に基づく手法は、生理的信号を処理するよりも、自我中心の視覚システムで捉えた信号からより優れた推定値が得られることを示す。 我々のデータセットは、自我中心の知覚の中核的な次元としての感情と個性を確立し、行動、意図、相互作用の感情駆動モデリングにおいて新しい方向を開く。

関連論文リスト

• Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning [69.71072181304066]
  本稿では,擬似ヒューマノイドを用いた視覚駆動全身制御フレームワークであるPerceptive Dexterous Control (PDC)を紹介する。 PDCは、タスク仕様のためのエゴセントリックなビジョンのみを運用し、ビジュアルキューによるオブジェクト検索、ターゲット配置、スキル選択を可能にする。 強化学習によるスクラッチからのトレーニングは,能動探索などの創発的な行動を引き起こす可能性があることを示す。
  論文  参考訳（メタデータ） (2025-05-18T07:33:31Z)
• Modelling Emotions in Face-to-Face Setting: The Interplay of Eye-Tracking, Personality, and Temporal Dynamics [1.4645774851707578]
  本研究では、視線追跡データ、時間的ダイナミクス、性格特性を統合することで、知覚と知覚の両方の感情の検出を大幅に向上させる方法について述べる。 本研究は,将来の情緒コンピューティングと人間エージェントシステムの設計を示唆するものである。
  論文  参考訳（メタデータ） (2025-03-18T13:15:32Z)
• egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks [19.969886981165754]
  エゴセントリックな視覚システムは、動き、活動、相互作用を含む周囲と着用者の行動を理解することを目的としている。 我々は、自我中心のシステムは、人の注意と状況に対する反応を捉えるために、生理的状態を付加的に検出する必要があると論じている。 我々は,眼球運動追跡カメラから心電図の生理状態の指標として心拍数を抽出するPulseFormerを紹介する。
  論文  参考訳（メタデータ） (2025-02-28T09:23:40Z)
• EgoChoir: Capturing 3D Human-Object Interaction Regions from Egocentric Views [51.53089073920215]
  エゴセントリックな人間と物体の相互作用(HOI)を理解することは、人間中心の知覚の基本的な側面である。 既存の手法は主にHOIの観測を利用して、外心的な視点から相互作用領域を捉えている。 EgoChoirは、オブジェクト構造と、外見と頭部運動に固有の相互作用コンテキストを結びつけて、オブジェクトの余裕を明らかにする。
  論文  参考訳（メタデータ） (2024-05-22T14:03:48Z)
• EgoGen: An Egocentric Synthetic Data Generator [53.32942235801499]
  EgoGenは新しい合成データジェネレータで、エゴセントリックな知覚タスクのための正確でリッチな地上訓練データを生成することができる。 EgoGenの中心となるのは、仮想人間の自我中心の視覚入力を直接利用して3D環境を感知する、新しい人間のモーション合成モデルである。 我々は、ヘッドマウントカメラのマッピングとローカライゼーション、エゴセントリックカメラトラッキング、エゴセントリックビューからのヒューマンメッシュリカバリの3つのタスクで、EgoGenの有効性を実証する。
  論文  参考訳（メタデータ） (2024-01-16T18:55:22Z)
• MECCANO: A Multimodal Egocentric Dataset for Humans Behavior Understanding in the Industrial-like Domain [23.598727613908853]
  本稿では,産業的な環境下での人間の行動理解を目的とした,エゴセントリックなビデオのデータセットMECCANOを提案する。 マルチモダリティの特徴は、視線信号、深度マップ、RGBビデオとカスタムヘッドセットが同時に取得される点である。 データセットは、人間の行動理解の文脈における基本的なタスクに対して、一人称視点から明示的にラベル付けされている。
  論文  参考訳（メタデータ） (2022-09-19T00:52:42Z)
• The world seems different in a social context: a neural network analysis of human experimental data [57.729312306803955]
  本研究では,先行・知覚的信号の精度を変化させることで,個人・社会的タスク設定の両方で人間の行動データを再現可能であることを示す。 トレーニングされたネットワークの神経活性化トレースの分析は、情報が個人や社会的条件のネットワークにおいて、根本的に異なる方法でコード化されていることを示す。
  論文  参考訳（メタデータ） (2022-03-03T17:19:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。