論文の概要: Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps

• arxiv url: http://arxiv.org/abs/2301.05821v1
• Date: Sat, 14 Jan 2023 05:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-18 18:43:27.501058
• Title: Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps
• Title（参考訳）: 物理・仮想グラフ再構成のための再構成可能なデータグローブ
• Authors: Hangxin Liu, Zeyu Zhang, Ziyuan Jiao, Zhenliang Zhang, Minchen Li, Chenfanfu Jiang, Yixin Zhu, Song-Chun Zhu
• Abstract要約: 本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
• 参考スコア（独自算出の注目度）: 100.72245315180433
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a reconfigurable data glove design to capture different modes of human hand-object interactions, critical for training embodied AI agents for fine manipulation tasks. Sharing a unified backbone design that reconstructs hand gestures in real-time, our reconfigurable data glove operates in three modes for various downstream tasks with distinct features. In the tactile-sensing mode, the glove system aggregates manipulation force via customized force sensors made from a soft and thin piezoresistive material; this design is to minimize interference during complex hand movements. The Virtual Reality (VR) mode enables real-time interaction in a physically plausible fashion; a caging-based approach is devised to determine stable grasps by detecting collision events. Leveraging a state-of-the-art Finite Element Method (FEM) simulator, the simulation mode collects a fine-grained 4D manipulation event: hand and object motions in 3D space and how the object's physical properties (e.g., stress, energy) change in accord with the manipulation in time. Of note, this glove system is the first to look into, through high-fidelity simulation, the unobservable physical and causal factors behind manipulation actions. In a series of experiments, we characterize our data glove in terms of individual sensors and the overall system. Specifically, we evaluate the system's three modes by (i) recording hand gestures and associated forces, (ii) improving manipulation fluency in VR, and (iii) producing realistic simulation effects of various tool uses, respectively. Together, our reconfigurable data glove collects and reconstructs fine-grained human grasp data in both the physical and virtual environments, opening up new avenues to learning manipulation skills for embodied AI agents.
• Abstract（参考訳）: 我々は、人間の手-物体相互作用の様々なモードをキャプチャする再構成可能なデータグローブの設計を提案する。 ハンドジェスチャをリアルタイムに再構築する統一されたバックボーンデザインを共有することで、再構成可能なデータグローブは3つのモードで動作し、異なる特徴を持つ下流タスクを処理します。 触覚モードでは、グローブシステムは柔らかくて薄いピエゾ抵抗性材料から作られたカスタマイズされた力センサを介して操作力を集約する。 仮想現実感(VR)モードは、物理的に妥当な方法でリアルタイムのインタラクションを可能にし、衝突イベントを検出して安定した把握を決定するためにケージベースのアプローチが考案された。 現状の有限要素法(FEM)シミュレータを利用することで、シミュレーションモードは3次元空間における手と物体の動きと物体の物理的特性(例えば、応力、エネルギー)が時間的操作に合わせてどのように変化するかという、きめ細かい4D操作イベントを収集する。 このグローブシステムは、高忠実度シミュレーションを通じて、操作動作の背後にある観測不可能な物理的および因果的要因を初めて調べる。 一連の実験において、個々のセンサーとシステム全体の観点からデータグローブを特徴付ける。 具体的には,システムの3つのモードを評価する。 (i)手振りと関連力の記録 (ii)vrにおける操作性の向上、及び (iii)各種工具の現実的なシミュレーション効果をそれぞれ生成する。 再構成可能なデータグローブは、物理環境と仮想環境の両方で、きめ細かい人間の把握データを収集し、再構成し、具体化されたaiエージェントの操作スキルを学習する新しい道を開きます。

関連論文リスト

• Wearable Sensor-Based Few-Shot Continual Learning on Hand Gestures for Motor-Impaired Individuals via Latent Embedding Exploitation [6.782362178252351]
  本稿では,リプレイベースのFew-Shot連続学習フレームワークにおいて,Latent Embedding Exploitation (LEE) 機構を導入する。 本手法は,ジェスチャー先行知識として知られる保存された潜伏埋め込みを利用して,多様な潜伏特徴空間を生成する。 本手法は、運動障害者がウェアラブルデバイスを活用するのに役立ち、そのユニークな動作スタイルを学習し応用することができる。
  論文  参考訳（メタデータ） (2024-05-14T21:20:27Z)
• MACS: Mass Conditioned 3D Hand and Object Motion Synthesis [68.40728343078257]
  質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。 本研究は,MAss Conditioned 3D Hand and Object Motion Synthesis approachを提案する。 提案手法は, カスケード拡散モデルに基づいて, 対象質量と相互作用タイプに基づいて, 合理的に調整可能な相互作用を生成する。
  論文  参考訳（メタデータ） (2023-12-22T18:59:54Z)
• SynthoGestures: A Novel Framework for Synthetic Dynamic Hand Gesture Generation for Driving Scenarios [17.94374027261511]
  本論文では,Unreal Engine を用いて現実的な手ジェスチャーを合成するフレームワークを提案する。 当社のフレームワークはカスタマイズオプションを提供し、オーバーフィッティングのリスクを低減する。 データセット作成に要する時間と労力を節約することにより、当社のツールは、自動車アプリケーションのためのジェスチャー認識システムの開発を加速する。
  論文  参考訳（メタデータ） (2023-09-08T16:32:56Z)
• GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
  手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。 現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。 GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
  論文  参考訳（メタデータ） (2023-08-22T17:59:51Z)
• DASH: Modularized Human Manipulation Simulation with Vision and Language for Embodied AI [25.144827619452105]
  本稿では,動的・自律的シミュレーション人間(DASH)について述べる。 DASHシステムを視覚モジュール、言語モジュール、および2つのスキルカテゴリの操作モジュールに分解することにより、DASHがランダムに配置されたタスクを高い成功率で実行できるように、異なるモジュールに対して解析的および機械学習テクニックを混在させ、マッチングすることができる。
  論文  参考訳（メタデータ） (2021-08-28T00:22:30Z)
• gradSim: Differentiable simulation for system identification and visuomotor control [66.37288629125996]
  本稿では,微分可能マルチフィジカルシミュレーションと微分可能レンダリングを活用し,3次元監督への依存を克服するフレームワークであるgradsimを提案する。 当社の統合グラフは、状態ベースの(3D)監督に頼ることなく、挑戦的なバイスモメータ制御タスクで学習を可能にします。
  論文  参考訳（メタデータ） (2021-04-06T16:32:01Z)
• Synthesizing Skeletal Motion and Physiological Signals as a Function of a Virtual Human's Actions and Emotions [10.59409233835301]
  本研究では, 同期運動, 心電図, 血圧, 呼吸, 皮膚伝導信号の計算モデルからなるシステムを開発した。 提案されたフレームワークはモジュール化されており、柔軟性によってさまざまなモデルを試すことができる。 ラウンド・ザ・タイム・モニタリングのためのML研究を低コストで行うことに加えて、提案されたフレームワークはコードとデータの再利用を可能にする。
  論文  参考訳（メタデータ） (2021-02-08T21:56:15Z)
• Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning [52.37106940303246]
  ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
  論文  参考訳（メタデータ） (2020-08-07T17:34:28Z)
• ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
  ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。 TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。 我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
  論文  参考訳（メタデータ） (2020-07-09T17:33:27Z)
• Gaining a Sense of Touch. Physical Parameters Estimation using a Soft Gripper and Neural Networks [3.0892724364965005]
  ロボットグリップを用いた物体との直接相互作用の測定における深層学習アルゴリズムを用いた物理パラメータ推定に関する十分な研究はない。 本研究では、剛性係数の回帰をトレーニング可能なシステムを提案し、物理シミュレータ環境を用いて広範な実験を行った。 本システムでは,Yale OpenHandソフトグリップを用いて,指に装着した慣性測定ユニット(IMU)の読み値に基づいて,物体の硬さを確実に推定することができる。
  論文  参考訳（メタデータ） (2020-03-02T11:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。