論文の概要: Real-Time Hand Gesture Recognition for OpenXR Using Transformer-Based Machine Learning

• arxiv url: http://arxiv.org/abs/2609.25466v1
• Date: Mon, 21 Sep 2026 22:45:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.136769
• Title: Real-Time Hand Gesture Recognition for OpenXR Using Transformer-Based Machine Learning
• Title（参考訳）: Transformer-based machine learning を用いた OpenXR のリアルタイムハンドジェスチャ認識
• Abstract要約: 本研究では,手動ジェスチャー認識のためのトランスフォーマーに基づく機械学習モデルを統合する。 我々は手関節の位置データと手首回転角度を利用して、カスタムジェスチャー認識システムを訓練する。 その結果,ジェスチャー分類精度は有意に向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hand gesture recognition is a key component in human-computer interaction (HCI), enabling intuitive interfaces for applications in gaming, virtual reality (VR), robotics, and more. This study integrates transformer-based machine-learning models for real-time hand gesture recognition, using hand-tracking data captured through the OpenXR standard in Unity. We leverage positional data of hand joints and wrist rotation angles to train a custom gesture recognition system. By utilizing the sequential modeling capabilities of transformers, the system captures temporal dependencies within short gesture windows and classifies gestures robustly across hand orientations and sizes. The results show a significant improvement in gesture classification accuracy. Building on this, we outline how the approach can be extended toward detecting the flow of movement, i.e., the transitions between gestures, as future work.
• Abstract（参考訳）: ハンドジェスチャー認識はヒューマンコンピュータインタラクション(HCI)の重要なコンポーネントであり、ゲーム、仮想現実(VR)、ロボット工学などのアプリケーションのための直感的なインターフェースを可能にする。 本研究は,UnityのOpenXR標準で取得した手の動き追跡データを用いて,トランスフォーマーに基づくリアルタイム手動作認識のための機械学習モデルを統合する。 我々は手関節の位置データと手首回転角度を利用して、カスタムジェスチャー認識システムを訓練する。 変換器の逐次モデリング機能を利用することで,短時間のジェスチャーウィンドウ内での時間的依存関係を捕捉し,手動の向きやサイズに頑健なジェスチャーを分類する。 その結果,ジェスチャー分類精度は有意に向上した。 これに基づいて,動作の流れ,すなわちジェスチャー間の遷移を将来の作業として検出するために,どのようにアプローチを拡張できるかを概説する。

関連論文リスト

• Multi-Modal Gesture Recognition from Video and Surgical Tool Pose Information via Motion Invariants [9.77463802740227]
  外科的ジェスチャーをリアルタイムで認識することは、自動化された活動認識、スキルアセスメント、術中援助、そして最終的には外科的自動化への一歩である。 マルチモーダルニューラルネットワークにおける最近の研究では、視覚とキネマティクスのデータの関係が学習されているが、現在のアプローチでは、キネマティクス情報を独立した信号として扱うことができ、ツールチップのポーズには基礎的な関係はない。 JIGSAWSサチューリングデータセットにおいて、不変信号とツール位置を組み合わせることにより、ジェスチャー認識が90.3%の精度で向上することを示す。
  論文  参考訳（メタデータ） (2025-03-19T19:02:58Z)
• Learning Manipulation by Predicting Interaction [85.57297574510507]
  本稿では,インタラクションを予測して操作を学習する一般的な事前学習パイプラインを提案する。 実験の結果,MPIは従来のロボットプラットフォームと比較して10%から64%向上していることがわかった。
  論文  参考訳（メタデータ） (2024-06-01T13:28:31Z)
• EventTransAct: A video transformer-based framework for Event-camera based action recognition [52.537021302246664]
  イベントカメラは、RGBビデオの標準アクション認識と比較して、新しい機会を提供する。 本研究では,最初にイベントフレーム当たりの空間埋め込みを取得するビデオトランスフォーマーネットワーク(VTN)という,計算効率のよいモデルを用いる。 イベントデータのスパースできめ細かい性質にVTNをよりよく採用するために、イベントコントラストロス(mathcalL_EC$)とイベント固有の拡張を設計する。
  論文  参考訳（メタデータ） (2023-08-25T23:51:07Z)
• Agile gesture recognition for capacitive sensing devices: adapting on-the-job [55.40855017016652]
  本システムでは, コンデンサセンサからの信号を手の動き認識器に組み込んだ手動作認識システムを提案する。 コントローラは、着用者5本の指それぞれからリアルタイム信号を生成する。 機械学習技術を用いて時系列信号を解析し,500ms以内で5本の指を表現できる3つの特徴を同定する。
  論文  参考訳（メタデータ） (2023-05-12T17:24:02Z)
• The Gesture Authoring Space: Authoring Customised Hand Gestures for Grasping Virtual Objects in Immersive Virtual Environments [81.5101473684021]
  本研究は、仮想オブジェクトを現実世界のようにつかむことができる、オブジェクト固有のグリップジェスチャーのためのハンドジェスチャーオーサリングツールを提案する。 提示されたソリューションは、ジェスチャー認識にテンプレートマッチングを使用し、カスタムのカスタマイズされた手の動きを設計および作成するために技術的な知識を必要としない。 本研究は,提案手法を用いて作成したジェスチャーが,ユーザによって他のユーザよりも自然な入力モダリティとして認識されていることを示した。
  論文  参考訳（メタデータ） (2022-07-03T18:33:33Z)
• Snapture -- A Novel Neural Architecture for Combined Static and Dynamic Hand Gesture Recognition [19.320551882950706]
  そこで本研究では,新しいハイブリットハンドジェスチャ認識システムを提案する。 我々のアーキテクチャは静的なジェスチャーと動的ジェスチャーの両方を学ぶことができる。 本研究は,ロボットとの非言語コミュニケーションのためのジェスチャー認識研究と機械学習応用の両方に貢献する。
  論文  参考訳（メタデータ） (2022-05-28T11:12:38Z)
• SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild [62.450907796261646]
  手のジェスチャーの認識は、ソフトウェアによって推定される手の骨格のストリームから直接行うことができる。 最近のスケルトンからのジェスチャーや行動認識の進歩にもかかわらず、現在の最先端技術が現実のシナリオでどの程度うまく機能するかは明らかではない。 本稿では,SHREC 2021: Track on Skeleton-based Hand Gesture Recognition in the Wild contestについて述べる。
  論文  参考訳（メタデータ） (2021-06-21T10:57:49Z)
• Gesture Similarity Analysis on Event Data Using a Hybrid Guided Variational Auto Encoder [3.1148846501645084]
  本研究では,背景を自然分解し,時間分解能の高いジェスチャーを解析するニューロモーフィックジェスチャー解析システムを提案する。 以上の結果から,VAEが学習した特徴は,新しいジェスチャーのクラスタリングと擬似ラベル付けが可能な類似度尺度を提供することがわかった。
  論文  参考訳（メタデータ） (2021-03-31T23:58:34Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• 3D dynamic hand gestures recognition using the Leap Motion sensor and convolutional neural networks [0.0]
  本稿では,Leap Motionセンサーを用いて取得した非静的なジェスチャーの認識方法を提案する。 取得したジェスチャー情報をカラー画像に変換し、ジェスチャー中の手関節位置の変化を平面に投影する。 ジェスチャーの分類はDeep Convolutional Neural Network (CNN)を用いて行われる。
  論文  参考訳（メタデータ） (2020-03-03T11:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。