論文の概要: V-Hands: Touchscreen-based Hand Tracking for Remote Whiteboard Interaction

• arxiv url: http://arxiv.org/abs/2409.13347v1
• Date: Fri, 20 Sep 2024 09:26:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:40:00.662431
• Title: V-Hands: Touchscreen-based Hand Tracking for Remote Whiteboard Interaction
• Title（参考訳）: V-Hands:リモートホワイトボードインタラクションのためのタッチスクリーンによるハンドトラッキング
• Authors: Xinshuang Liu, Yizhong Zhang, Xin Tong,
• Abstract要約: ホワイトボードベースの遠隔通信では、描画コンテンツと手画面インタラクションのシームレスな統合が不可欠である。 これまでの方法では、手の動きを捉えるために、かさばる装置のセットアップが必要だったり、静電容量画像から手の動きを正確に追跡できなかったりしていた。 容量ビデオフレームから両手の3Dポーズを正確に追跡するためのリアルタイムな手法を提案する。
• 参考スコア（独自算出の注目度）: 11.808862837391567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In whiteboard-based remote communication, the seamless integration of drawn content and hand-screen interactions is essential for an immersive user experience. Previous methods either require bulky device setups for capturing hand gestures or fail to accurately track the hand poses from capacitive images. In this paper, we present a real-time method for precise tracking 3D poses of both hands from capacitive video frames. To this end, we develop a deep neural network to identify hands and infer hand joint positions from capacitive frames, and then recover 3D hand poses from the hand-joint positions via a constrained inverse kinematic solver. Additionally, we design a device setup for capturing high-quality hand-screen interaction data and obtained a more accurate synchronized capacitive video and hand pose dataset. Our method improves the accuracy and stability of 3D hand tracking for capacitive frames while maintaining a compact device setup for remote communication. We validate our scheme design and its superior performance on 3D hand pose tracking and demonstrate the effectiveness of our method in whiteboard-based remote communication. Our code, model, and dataset are available at https://V-Hands.github.io.
• Abstract（参考訳）: ホワイトボードベースのリモートコミュニケーションでは、描画されたコンテンツと手画面のインタラクションのシームレスな統合が、没入的なユーザエクスペリエンスに不可欠である。 これまでの方法では、手の動きを捉えるために、かさばる装置のセットアップが必要だったり、静電容量画像から手の動きを正確に追跡できなかったりしていた。 本稿では,容量的ビデオフレームから両手の3Dポーズを正確に追跡するリアルタイム手法を提案する。 そこで我々は,手の位置をキャパシタフレームから同定し,手関節位置から手関節位置を推定するディープニューラルネットワークを開発し,制約された逆運動論的解法を用いて手関節位置から3次元手ポーズを復元する。 さらに,高品質な手画面インタラクションデータをキャプチャする装置を設計し,より正確な同期型容量ビデオと手ポーズデータセットを得た。 本手法は,遠隔通信のためのコンパクトな装置構成を維持しながら,キャパシタフレームの3次元ハンドトラッキングの精度と安定性を向上させる。 提案手法の有効性を検証し,提案手法の有効性を検証した。 私たちのコード、モデル、データセットはhttps://V-Hands.github.io.comで公開されています。

関連論文リスト

• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• RemoteTouch: Enhancing Immersive 3D Video Communication with Hand Touch [28.096602057231035]
  本システムでは,各参加者は触覚フィードバックのある大きなスクリーンの前に座る。 ローカルの参加者はスクリーンに手を差し伸べ、リモートの参加者と手をたたくことができる。
  論文  参考訳（メタデータ） (2023-02-28T07:37:53Z)
• LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally Kinematic Knowledge [0.693939291118954]
  本稿では3次元手ポーズ推定のための強力な手法であるLG-Handを提案する。 キネマティックな情報が重要な役割を担い、3次元手ポーズ推定の性能に寄与すると主張している。 提案手法は,Person Hand Action Benchmarkデータセット上で有望な結果を得る。
  論文  参考訳（メタデータ） (2022-11-06T15:26:32Z)
• Consistent 3D Hand Reconstruction in Video via self-supervised Learning [67.55449194046996]
  本稿では,モノクロ映像から高精度で一貫した3Dハンドを再構築する手法を提案する。 検出された2次元手指キーポイントと画像テクスチャは、3次元手の形状とテクスチャに関する重要な手がかりを提供する。 自己監督型3Dハンド再構成モデルであるS2HAND$を提案する。
  論文  参考訳（メタデータ） (2022-01-24T09:44:11Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• Egocentric View Hand Action Recognition by Leveraging Hand Surface and Hand Grasp Type [15.878905144552204]
  このフレームワークは、手メッシュモデルの平均曲率を合成し、3次元空間における手表面形状を符号化する。 手のつかみタイプと手の平均曲率を用いることで,手の動き認識の性能が向上する。
  論文  参考訳（メタデータ） (2021-09-08T17:12:02Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• MM-Hand: 3D-Aware Multi-Modal Guided Hand Generative Network for 3D Hand Pose Synthesis [81.40640219844197]
  モノラルなRGB画像から3Dハンドポーズを推定することは重要だが難しい。 解決策は、高精度な3D手指キーポイントアノテーションを用いた大規模RGB手指画像のトレーニングである。 我々は,現実的で多様な3次元ポーズ保存ハンドイメージを合成する学習ベースアプローチを開発した。
  論文  参考訳（メタデータ） (2020-10-02T18:27:34Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。