論文の概要: Pose2Gaze: Generating Realistic Human Gaze Behaviour from Full-body
Poses using an Eye-body Coordination Model
- arxiv url: http://arxiv.org/abs/2312.12042v1
- Date: Tue, 19 Dec 2023 10:55:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 16:05:16.285062
- Title: Pose2Gaze: Generating Realistic Human Gaze Behaviour from Full-body
Poses using an Eye-body Coordination Model
- Title（参考訳）: Pose2Gaze:眼球座標モデルを用いた全身電位からのリアルな人間の視線行動の生成
- Authors: Zhiming Hu and Jiahui Xu and Syn Schmitt and Andreas Bulling
- Abstract要約: 視線は頭部方向や全身運動と強く相関しており,身体運動と眼球運動の間には顕著な遅延がある。
次に、Pose2Gazeを紹介します。これは、まず、畳み込みニューラルネットワークと時間グラフ畳み込みニューラルネットワークを使用して、それぞれ方向とフルボディのポーズから特徴を抽出する、新しいアイボディコーディネートモデルです。
- 参考スコア（独自算出の注目度）: 12.612396358741522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While generating realistic body movements, e.g., for avatars in virtual
reality, is widely studied in computer vision and graphics, the generation of
eye movements that exhibit realistic coordination with the body remains
under-explored. We first report a comprehensive analysis of the coordination of
human eye and full-body movements during everyday activities based on data from
the MoGaze and GIMO datasets. We show that eye gaze has strong correlations
with head directions and also full-body motions and there exists a noticeable
time delay between body and eye movements. Inspired by the analyses, we then
present Pose2Gaze -- a novel eye-body coordination model that first uses a
convolutional neural network and a spatio-temporal graph convolutional neural
network to extract features from head directions and full-body poses
respectively and then applies a convolutional neural network to generate
realistic eye movements. We compare our method with state-of-the-art methods
that predict eye gaze only from head movements for three different generation
tasks and demonstrate that Pose2Gaze significantly outperforms these baselines
on both datasets with an average improvement of 26.4% and 21.6% in mean angular
error, respectively. Our findings underline the significant potential of
cross-modal human gaze behaviour analysis and modelling.
- Abstract（参考訳）: 現実の身体の動き(例えば、バーチャルリアリティーにおけるアバター)は、コンピュータビジョンやグラフィックスで広く研究されているが、身体と現実的に協調する眼球運動の生成は未検討のままである。
まず,mogazeおよびgimoデータセットのデータをもとに,日常活動中の人間の眼球運動と全身運動の協調に関する包括的分析を行った。
その結果,目視は頭部方向と全身運動と強い相関があり,身体運動と眼球運動の間には明らかな時間遅延があることがわかった。
このモデルでは、まず畳み込みニューラルネットワークと時空間グラフ畳み込みニューラルネットワークを使用して、それぞれ頭部と全身のポーズから特徴を抽出し、その後、畳み込みニューラルネットワークを適用してリアルな目の動きを生成する。
提案手法を3つの異なる世代タスクの頭部の動きからのみ視線を予測できる最先端の手法と比較し,Pose2Gazeが両データセットにおいて平均26.4%,平均21.6%の精度でこれらのベースラインを大幅に上回ることを示した。
本研究は, 視線横断行動解析とモデリングの有意な可能性を示すものである。
関連論文リスト
- GazeMotion: Gaze-guided Human Motion Forecasting [10.982807572404166]
本稿では、過去の人間のポーズ情報と人間の目視情報を組み合わせた、人間の動き予測の新しい手法であるGazeMotionを紹介する。
人間の目と身体の動きが密接に調整されていることを示す行動科学のエビデンスにインスパイアされたGazeMotionは、まず過去の視線から将来の視線を予測し、その後予測された将来の視線と過去のポーズを視線のグラフに融合し、最後に身体の動きを予測するための残差グラフ畳み込みネットワークを使用する。
論文 参考訳（メタデータ） (2024-03-14T21:38:00Z) - Guiding Visual Attention in Deep Convolutional Neural Networks Based on
Human Eye Movements [0.0]
ディープ畳み込みニューラルネットワーク(DCNN)は、当初は生物学的ビジョンの原理にインスパイアされていた。
近年のディープラーニングの進歩は、この類似性を減らしているようだ。
有用なモデルを得るための純粋にデータ駆動型アプローチについて検討する。
論文 参考訳（メタデータ） (2022-06-21T17:59:23Z) - GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。
私たちのデータ収集は特定のシーンに縛られません。
視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-20T13:17:39Z) - MIDAS: Deep learning human action intention prediction from natural eye
movement patterns [6.557082555839739]
自然視のみに基づく対象操作タスクに対する人間の意図をデコードするための、完全にデータ駆動型アプローチを提案する。
以上の結果から,自然な視線と相対位置から純粋に人間の動きの意図を911.9%の精度で復号できることが示唆された。
論文 参考訳（メタデータ） (2022-01-22T21:52:42Z) - Gaze Perception in Humans and CNN-Based Model [66.89451296340809]
cnn(convolutional neural network)ベースの視線モデルと,実世界の映像における注意の軌跡を人間がどのように推定するかを比較した。
モデルと比較すると,注目点の人間推定はシーンの文脈に強く影響していることが示される。
論文 参考訳（メタデータ） (2021-04-17T04:52:46Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - What Can You Learn from Your Muscles? Learning Visual Representation
from Human Interactions [50.435861435121915]
視覚のみの表現よりも優れた表現を学べるかどうかを調べるために,人間のインタラクションとアテンション・キューを用いている。
実験の結果,我々の「音楽監督型」表現は,視覚のみの最先端手法であるMoCoよりも優れていた。
論文 参考訳（メタデータ） (2020-10-16T17:46:53Z) - Non-contact Real time Eye Gaze Mapping System Based on Deep
Convolutional Neural Network [0.0]
実環境に適用可能な非接触視線マッピングシステムを提案する。
本稿では、GIST Gazeマッピングデータセットを紹介し、GIST Gazeマッピングを学習し、評価するために作成されたGIST Gazeマッピングデータセットについて紹介する。
論文 参考訳（メタデータ） (2020-09-10T02:37:37Z) - DRG: Dual Relation Graph for Human-Object Interaction Detection [65.50707710054141]
人-物間相互作用(HOI)検出の課題に対処する。
既存の方法は、人間と物体の対の相互作用を独立に認識するか、複雑な外観に基づく共同推論を行う。
本稿では,抽象的空間意味表現を活用して,各対象対を記述し,二重関係グラフを用いてシーンの文脈情報を集約する。
論文 参考訳（メタデータ） (2020-08-26T17:59:40Z) - Learning Human-Object Interaction Detection using Interaction Points [140.0200950601552]
本研究では,人間と物体の相互作用を直接検出する新しい完全畳み込み手法を提案する。
我々のネットワークは相互作用点を予測し、その相互作用を直接ローカライズし、分類する。
V-COCOとHICO-DETの2つの人気のあるベンチマークで実験が行われる。
論文 参考訳（メタデータ） (2020-03-31T08:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。