論文の概要: Gaze-Guided 3D Hand Motion Prediction for Detecting Intent in Egocentric Grasping Tasks
- arxiv url: http://arxiv.org/abs/2504.01024v1
- Date: Thu, 27 Mar 2025 15:26:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 13:23:29.313355
- Title: Gaze-Guided 3D Hand Motion Prediction for Detecting Intent in Egocentric Grasping Tasks
- Title（参考訳）: Egocentric Grasping Taskにおける入射検出のための注視ガイドによる3次元手の動き予測
- Authors: Yufei He, Xucong Zhang, Arno H. A. Stienen,
- Abstract要約: 本稿では,手ポーズと関節位置の両方の将来のシーケンスを予測する新しいアプローチを提案する。
ベクトル量子化された変分自動エンコーダを用いて,手の動き列予測のための自己回帰生成変換器を用いた手ポーズ符号化を行う。
- 参考スコア（独自算出の注目度）: 5.018156030818883
- License:
- Abstract: Human intention detection with hand motion prediction is critical to drive the upper-extremity assistive robots in neurorehabilitation applications. However, the traditional methods relying on physiological signal measurement are restrictive and often lack environmental context. We propose a novel approach that predicts future sequences of both hand poses and joint positions. This method integrates gaze information, historical hand motion sequences, and environmental object data, adapting dynamically to the assistive needs of the patient without prior knowledge of the intended object for grasping. Specifically, we use a vector-quantized variational autoencoder for robust hand pose encoding with an autoregressive generative transformer for effective hand motion sequence prediction. We demonstrate the usability of these novel techniques in a pilot study with healthy subjects. To train and evaluate the proposed method, we collect a dataset consisting of various types of grasp actions on different objects from multiple subjects. Through extensive experiments, we demonstrate that the proposed method can successfully predict sequential hand movement. Especially, the gaze information shows significant enhancements in prediction capabilities, particularly with fewer input frames, highlighting the potential of the proposed method for real-world applications.
- Abstract（参考訳）: 手の動き予測による人間の意図検出は、神経リハビリテーション応用における上肢補助ロボットの駆動に不可欠である。
しかし、生理的信号の測定に依存する従来の手法は制限的であり、しばしば環境条件を欠いている。
本稿では,手ポーズと関節位置の両方の将来のシーケンスを予測する新しいアプローチを提案する。
本手法は、視線情報、歴史的手の動きシーケンス、および環境オブジェクトデータを統合し、対象対象の事前知識を必要とせず、患者の支援ニーズに動的に適応する。
具体的には、ベクトル量子化された変分オートエンコーダを用いて、手動シーケンスの効率的な予測を行う自動回帰生成変換器を用いて、ロバストな手ポーズ符号化を行う。
健常者を対象としたパイロット実験において,これらの新技術の有用性を実証した。
提案手法を訓練し,評価するために,複数の被験者から異なる対象に対する様々な種類の把握行動からなるデータセットを収集する。
広範囲な実験により,提案手法が手の動きの逐次予測に有効であることを実証した。
特に視線情報は、特に少ない入力フレームで予測能力を大幅に向上させ、提案手法の現実的応用の可能性を強調している。
関連論文リスト
- E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。
本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。
本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
論文 参考訳（メタデータ） (2024-10-11T09:19:23Z) - AdvMT: Adversarial Motion Transformer for Long-term Human Motion
Prediction [2.837740438355204]
本稿では,AdvMT(Adversarial Motion Transformer)について述べる。
逆行訓練では,予測の不要な成果物を効果的に削減し,より現実的で流動的な人間の動作の学習を確実にする。
論文 参考訳（メタデータ） (2024-01-10T09:15:50Z) - Uncovering the human motion pattern: Pattern Memory-based Diffusion
Model for Trajectory Prediction [45.77348842004666]
動作パターン優先記憶ネットワーク(Motion Pattern Priors Memory Network)は、人間の行動に潜む動きパターンを明らかにするためのメモリベースの手法である。
メモリバンクから各予測に対して一致したパターンと潜在的なターゲット分布を検索するアドレッシング機構を導入する。
提案手法の有効性を検証し,最先端の軌道予測精度を実現する。
論文 参考訳（メタデータ） (2024-01-05T17:39:52Z) - GazeMoDiff: Gaze-guided Diffusion Model for Stochastic Human Motion Prediction [10.982807572404166]
本稿では、人間の動きを生成するための新しい視線誘導型微分拡散モデルGazeMoを提案する。
提案手法はまず視線エンコーダを用いて視線と運動の特徴を抽出し,その特徴を融合させるグラフアテンションネットワークを用いる。
提案手法は,マルチモーダルな最終誤差の点で,最先端の手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2023-12-19T12:10:12Z) - A Neuro-Symbolic Approach for Enhanced Human Motion Prediction [5.742409080817885]
人間の動作予測のためのニューロシンボリックアプローチ(NeuroSyM)を提案する。
NeuroSyMは、質的軌道計算(QTC)と呼ばれる空間表現に直感的手法を活用することにより、近隣の相互作用を異なる重み付けする
実験の結果,NeuroSyMアプローチは,ほとんどの場合,予測精度においてベースラインアーキテクチャよりも優れていた。
論文 参考訳（メタデータ） (2023-04-23T20:11:40Z) - GIMO: Gaze-Informed Human Motion Prediction in Context [75.52839760700833]
本研究では、高品質なボディポーズシーケンス、シーンスキャン、目視によるエゴ中心のビューを提供する大規模な人体動作データセットを提案する。
私たちのデータ収集は特定のシーンに縛られません。
視線の全可能性を実現するために,視線と運動枝の双方向通信を可能にする新しいネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-20T13:17:39Z) - Investigating Pose Representations and Motion Contexts Modeling for 3D
Motion Prediction [63.62263239934777]
歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。
本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。
AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-30T10:45:22Z) - Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。
標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2021-08-19T00:58:00Z) - Probabilistic Human Motion Prediction via A Bayesian Neural Network [71.16277790708529]
本稿では,人間の動作予測のための確率モデルを提案する。
我々のモデルは、観測された動きシーケンスが与えられたときに、いくつかの将来の動きを生成することができる。
我々は、大規模ベンチマークデータセットHuman3.6mに対して、我々のアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2021-07-14T09:05:33Z) - TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。
実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。
評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
論文 参考訳（メタデータ） (2021-04-08T20:01:00Z) - Temporally Guided Articulated Hand Pose Tracking in Surgical Videos [22.752654546694334]
アーティキュレートされた手ポーズ追跡は、多くのアプリケーションで使用可能な可能性を秘めている未発見の問題である。
提案する手ポーズ推定モデルであるCondPoseは,その予測に先立ってポーズを組み込むことで,検出と追跡の精度を向上させる。
論文 参考訳（メタデータ） (2021-01-12T03:44:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。