論文の概要: GazeMotion: Gaze-guided Human Motion Forecasting

• arxiv url: http://arxiv.org/abs/2403.09885v2
• Date: Thu, 11 Jul 2024 08:09:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:07:33.001074
• Title: GazeMotion: Gaze-guided Human Motion Forecasting
• Title（参考訳）: GazeMotion: Gazeに誘導された人間のモーション予測
• Authors: Zhiming Hu, Syn Schmitt, Daniel Haeufle, Andreas Bulling,
• Abstract要約: 本稿では、過去の人間のポーズ情報と人間の目視情報を組み合わせた、人間の動き予測の新しい手法であるGazeMotionを紹介する。 人間の目と身体の動きが密接に調整されていることを示す行動科学のエビデンスにインスパイアされたGazeMotionは、まず過去の視線から将来の視線を予測し、その後予測された将来の視線と過去のポーズを視線のグラフに融合し、最後に身体の動きを予測するための残差グラフ畳み込みネットワークを使用する。
• 参考スコア（独自算出の注目度）: 10.982807572404166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present GazeMotion, a novel method for human motion forecasting that combines information on past human poses with human eye gaze. Inspired by evidence from behavioural sciences showing that human eye and body movements are closely coordinated, GazeMotion first predicts future eye gaze from past gaze, then fuses predicted future gaze and past poses into a gaze-pose graph, and finally uses a residual graph convolutional network to forecast body motion. We extensively evaluate our method on the MoGaze, ADT, and GIMO benchmark datasets and show that it outperforms state-of-the-art methods by up to 7.4% improvement in mean per joint position error. Using head direction as a proxy to gaze, our method still achieves an average improvement of 5.5%. We finally report an online user study showing that our method also outperforms prior methods in terms of perceived realism. These results show the significant information content available in eye gaze for human motion forecasting as well as the effectiveness of our method in exploiting this information.
• Abstract（参考訳）: 本稿では、過去の人間のポーズ情報と人間の目視情報を組み合わせた、人間の動き予測の新しい手法であるGazeMotionを紹介する。 人間の目と身体の動きが密接に調整されていることを示す行動科学のエビデンスにインスパイアされたGazeMotionは、まず過去の視線から将来の視線を予測し、その後予測された将来の視線と過去のポーズを視線のグラフに融合し、最後に身体の動きを予測するための残差グラフ畳み込みネットワークを使用する。 提案手法をMoGaze, ADT, GIMOベンチマークデータセット上で広範囲に評価し, 接合位置誤差あたりの平均値が7.4%向上していることを示す。 本手法は, 視線をプロキシとして用いながら, 平均5.5%の精度向上を実現している。 また,本手法は,知覚リアリズムの観点からも先行手法よりも優れていることを示すオンラインユーザスタディを報告した。 これらの結果から,人間の動き予測のための視線で利用可能な重要な情報内容と,この情報を活用する方法の有効性が示された。

関連論文リスト

• Gaze-Guided Graph Neural Network for Action Anticipation Conditioned on Intention [10.149523817328921]
  本稿では,映像入力から視覚意味グラフを構築するGaze-Guided Action Precipationアルゴリズムを提案する。 本手法では,グラフニューラルネットワークを用いてエージェントの意図を認識し,その意図を満たすためにアクションシーケンスを予測する。 提案手法は最先端技術より優れ、18種類の意図認識の精度が7%向上した。
  論文  参考訳（メタデータ） (2024-04-10T21:03:23Z)
• GazeMoDiff: Gaze-guided Diffusion Model for Stochastic Human Motion Prediction [10.982807572404166]
  本稿では、人間の動きを生成するための新しい視線誘導型微分拡散モデルGazeMoを提案する。 提案手法はまず視線エンコーダを用いて視線と運動の特徴を抽出し,その特徴を融合させるグラフアテンションネットワークを用いる。 提案手法は,マルチモーダルな最終誤差の点で,最先端の手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:10:12Z)
• Pose2Gaze: Eye-body Coordination during Daily Activities for Gaze Prediction from Full-body Poses [11.545286742778977]
  まず、様々な人・物・人・人のインタラクション活動における眼・体の協調に関する包括的分析を報告する。 次に、畳み込みニューラルネットワークを用いて、頭部と全身のポーズから特徴を抽出する眼球運動調整モデルPose2Gazeを紹介する。
  論文  参考訳（メタデータ） (2023-12-19T10:55:46Z)
• 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
  本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。 視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。 本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-06T14:15:17Z)
• Active Gaze Control for Foveal Scene Exploration [124.11737060344052]
  本研究では,葉型カメラを用いた人間とロボットが現場を探索する方法をエミュレートする手法を提案する。 提案手法は,同数の視線シフトに対してF1スコアを2～3ポイント増加させる。
  論文  参考訳（メタデータ） (2022-08-24T14:59:28Z)
• GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
  本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。 私たちのデータ収集は特定のシーンに縛られません。 視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-04-20T13:17:39Z)
• End-to-End Human-Gaze-Target Detection with Transformers [57.00864538284686]
  本稿では,Human-Gaze-Target(HGT)検出のための効果的かつ効率的な手法を提案する。 提案手法は,Human-Gaze-Target Detection TRansformer (HGTTR) と名付けられ,HGT検出パイプラインを簡素化する。 提案手法の有効性とロバスト性は,GazeFollowing と VideoAttentionTarget の2つの標準ベンチマークデータセットで検証した。
  論文  参考訳（メタデータ） (2022-03-20T02:37:06Z)
• Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction [63.62263239934777]
  歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。 本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。 AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-30T10:45:22Z)
• Integrating Human Gaze into Attention for Egocentric Activity Recognition [40.517438760096056]
  本研究では,人間の視線を時間的注意に組み込むことにより,自我中心の行動認識を実現するための効果的な確率的アプローチを提案する。 位置は固定点を不確かさをモデル化するために構造化された離散潜在変数として表現する。 予測された視線位置は、認識性能を向上させるための情報的注意手段を提供するために使用される。
  論文  参考訳（メタデータ） (2020-11-08T08:02:30Z)
• It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
  顔の全体像のみを入力とする外観に基づく手法を提案する。 本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。 本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
  論文  参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。