論文の概要: Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2008.03285v1
• Date: Fri, 7 Aug 2020 17:34:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 01:47:26.728894
• Title: Physics-Based Dexterous Manipulations with Estimated Hand Poses and Residual Reinforcement Learning
• Title（参考訳）: 推定ハンドポーズと残留強化学習を用いた物理に基づくデクサラスマニピュレーション
• Authors: Guillermo Garcia-Hernando and Edward Johns and Tae-Kyun Kim
• Abstract要約: ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。 モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
• 参考スコア（独自算出の注目度）: 52.37106940303246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dexterous manipulation of objects in virtual environments with our bare hands, by using only a depth sensor and a state-of-the-art 3D hand pose estimator (HPE), is challenging. While virtual environments are ruled by physics, e.g. object weights and surface frictions, the absence of force feedback makes the task challenging, as even slight inaccuracies on finger tips or contact points from HPE may make the interactions fail. Prior arts simply generate contact forces in the direction of the fingers' closures, when finger joints penetrate virtual objects. Although useful for simple grasping scenarios, they cannot be applied to dexterous manipulations such as in-hand manipulation. Existing reinforcement learning (RL) and imitation learning (IL) approaches train agents that learn skills by using task-specific rewards, without considering any online user input. In this work, we propose to learn a model that maps noisy input hand poses to target virtual poses, which introduces the needed contacts to accomplish the tasks on a physics simulator. The agent is trained in a residual setting by using a model-free hybrid RL+IL approach. A 3D hand pose estimation reward is introduced leading to an improvement on HPE accuracy when the physics-guided corrected target poses are remapped to the input space. As the model corrects HPE errors by applying minor but crucial joint displacements for contacts, this helps to keep the generated motion visually close to the user input. Since HPE sequences performing successful virtual interactions do not exist, a data generation scheme to train and evaluate the system is proposed. We test our framework in two applications that use hand pose estimates for dexterous manipulations: hand-object interactions in VR and hand-object motion reconstruction in-the-wild.
• Abstract（参考訳）: 深度センサと最先端の3Dハンドポーズ推定器(HPE)のみを用いた仮想環境における物体の有害な操作は困難である。 仮想環境は物理、例えば物体の重みや表面摩擦によって支配されるが、力のフィードバックがないため、指先やHPEの接触点のわずかな不正確さでさえ、相互作用を失敗させる可能性がある。 従来の芸術は、指関節が仮想物体を貫通する際に、指の閉鎖方向の接触力を生成する。 単純な把握シナリオには役立つが、手動操作のような巧妙な操作には適用できない。 既存の強化学習(RL)と模倣学習(IL)は、オンラインユーザ入力を考慮せずに、タスク固有の報酬を用いてスキルを学ぶエージェントにアプローチする。 そこで本研究では,物理シミュレータ上でタスクを遂行するために必要なコンタクトを導入する仮想ポーズに対して,ノイズの多い入力手のポーズをマッピングするモデルを学ぶことを提案する。 このエージェントは、モデルフリーハイブリッドrl+ilアプローチを用いて残留設定で訓練される。 物理誘導補正されたターゲットポーズが入力空間に再マップされると、3Dハンドポーズ推定報酬が導入され、HPE精度が向上する。 このモデルでは, 接触に小さなが重要な関節変位を適用してHPE誤差を補正するので, 生成した動きをユーザ入力に近付けるのに役立つ。 仮想インタラクションを成功させるhpeシーケンスは存在しないので,システムを訓練し評価するためのデータ生成手法を提案する。 筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションでテストを行った。

関連論文リスト

• Hand-Object Interaction Controller (HOIC): Deep Reinforcement Learning for Reconstructing Interactions with Physics [12.443255379595278]
  我々は,1台のRGBDカメラによる手操作動作を,新しい深部強化学習法により再構成する。 本稿では,ネットワークトレーニングをより安定させるために,直接オブジェクト制御を確立するオブジェクト補償制御を提案する。 補償力とトルクを利用して、簡単な点接触モデルをより物理的に解明可能な面接触モデルにシームレスにアップグレードする。
  論文  参考訳（メタデータ） (2024-05-04T14:32:13Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Reconfigurable Data Glove for Reconstructing Physical and Virtual Grasps [100.72245315180433]
  本研究では,人間の手-物体相互作用の異なるモードを捉えるために,再構成可能なデータグローブの設計を提案する。 グローブは3つのモードで動作し、異なる特徴を持つ様々な下流タスクを実行する。 i)手の動きと関連力を記録し,(ii)VRの操作流速を改善するとともに,(iii)様々なツールの現実的なシミュレーション効果を生み出すことにより,システムの3つのモードを評価する。
  論文  参考訳（メタデータ） (2023-01-14T05:35:50Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality [12.349749717823736]
  本稿では,内装体追跡のための新しいデータ駆動型フレームワークを提案する。 まず、体と指の両方の動作で、大規模なモーションキャプチャーデータセットを収集する。 次に, 被写体部を推定する深層ニューラルネットワークを学習し, 被写体部から被写体部を抽出し, 被写体部から被写体部を推定する。
  論文  参考訳（メタデータ） (2020-11-12T09:31:09Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。