論文の概要: HpEIS: Learning Hand Pose Embeddings for Multimedia Interactive Systems

• arxiv url: http://arxiv.org/abs/2410.08779v1
• Date: Fri, 11 Oct 2024 12:51:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 22:05:43.553754
• Title: HpEIS: Learning Hand Pose Embeddings for Multimedia Interactive Systems
• Title（参考訳）: HpEIS: マルチメディアインタラクティブシステムのための手話埋め込み学習
• Authors: Songpei Xu, Xuri Ge, Chaitanya Kaul, Roderick Murray-Smith,
• Abstract要約: 仮想センサとしてHpEIS(Hand-pose Embedding Interactive System)を提案する。 ユーザのフレキシブルな手ポーズを、さまざまな手ポーズでトレーニングされた変分オートエンコーダを使用して、2次元の視覚空間にマッピングする。
• 参考スコア（独自算出の注目度）: 3.794026166987428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel Hand-pose Embedding Interactive System (HpEIS) as a virtual sensor, which maps users' flexible hand poses to a two-dimensional visual space using a Variational Autoencoder (VAE) trained on a variety of hand poses. HpEIS enables visually interpretable and guidable support for user explorations in multimedia collections, using only a camera as an external hand pose acquisition device. We identify general usability issues associated with system stability and smoothing requirements through pilot experiments with expert and inexperienced users. We then design stability and smoothing improvements, including hand-pose data augmentation, an anti-jitter regularisation term added to loss function, stabilising post-processing for movement turning points and smoothing post-processing based on One Euro Filters. In target selection experiments (n=12), we evaluate HpEIS by measures of task completion time and the final distance to target points, with and without the gesture guidance window condition. Experimental responses indicate that HpEIS provides users with a learnable, flexible, stable and smooth mid-air hand movement interaction experience.
• Abstract（参考訳）: 本稿では,ユーザのフレキシブルな手ポーズを,様々な手ポーズで訓練された可変オートエンコーダ(VAE)を用いて2次元の視覚空間にマッピングする仮想センサとして,HpEIS(Hand-pose Embedding Interactive System)を提案する。 HpEISは、カメラのみを外部手ポーズ取得装置として使用することにより、マルチメディアコレクションにおけるユーザ探索の視覚的解釈と誘導可能なサポートを可能にする。 システム安定性とスムーズな要件に関する一般的なユーザビリティの問題について,専門家や未経験者のパイロット実験を通じて確認する。 次に、手動データ強化、損失関数に反ジッタ正規化項を追加し、回転点の安定化と1ユーロフィルタに基づく後処理の平滑化を含む、安定性と平滑化の改善を図った。 目標選択実験(n=12)において,動作指示窓条件を使わずに,タスク完了時間と目標地点までの最終距離を測定してHpEISを評価する。 HpEISは学習可能、柔軟、安定、スムーズな手の動きのインタラクション体験を提供する。

関連論文リスト

• Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars [47.61442517627826]
  本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 提案手法は大規模なInterHand2.6Mデータセットの広範な実験により検証される。
  論文  参考訳（メタデータ） (2024-10-11T14:14:51Z)
• Freeview Sketching: View-Aware Fine-Grained Sketch-Based Image Retrieval [85.73149096516543]
  微細スケッチベース画像検索(FG-SBIR)におけるスケッチ作成時の視点選択について検討する。 パイロットスタディでは、クエリスケッチがターゲットインスタンスと異なる場合、システムの苦労を強調している。 これを解決するために、ビューに依存しないタスクとビュー固有のタスクの両方をシームレスに収容するビューアウェアシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-01T21:20:44Z)
• Learning Visuotactile Skills with Two Multifingered Hands [80.99370364907278]
  マルチフィンガーハンドとバイソタクティブルデータを用いたバイマニアルシステムを用いて,人間の実演からの学習を探索する。 以上の結果から,バイスオタクティブルデータからの両指多指操作における有望な進歩が示唆された。
  論文  参考訳（メタデータ） (2024-04-25T17:59:41Z)
• VICAN: Very Efficient Calibration Algorithm for Large Camera Networks [49.17165360280794]
  ポースグラフ最適化手法を拡張する新しい手法を提案する。 我々は、カメラを含む二部グラフ、オブジェクトの動的進化、各ステップにおけるカメラオブジェクト間の相対変換について考察する。 我々のフレームワークは従来のPGOソルバとの互換性を維持しているが、その有効性はカスタマイズされた最適化方式の恩恵を受けている。
  論文  参考訳（メタデータ） (2024-03-25T17:47:03Z)
• Combining Vision and EMG-Based Hand Tracking for Extended Reality Musical Instruments [0.0]
  自己閉塞は、視覚に基づく手の動き追跡システムにとって重要な課題である。 本研究では,指関節角度推定のための視覚ベースハンドトラッキングと表面筋電図(SEMG)データを組み合わせたマルチモーダルハンドトラッキングシステムを提案する。
  論文  参考訳（メタデータ） (2023-07-13T15:15:02Z)
• HOOV: Hand Out-Of-View Tracking for Proprioceptive Interaction using Inertial Sensing [25.34222794274071]
  HOOVは、VRユーザーが視野外の物体と対話できる手首回りのセンシング手法である。 単一手首の慣性センサの信号に基づいて,HOOVはユーザの手の位置を3空間で連続的に推定する。 我々の新しいデータ駆動手法は,手の位置と軌道を,手振りの連続的な推定から予測する。
  論文  参考訳（メタデータ） (2023-03-13T11:25:32Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。