論文の概要: Hand-Object Interaction Controller (HOIC): Deep Reinforcement Learning for Reconstructing Interactions with Physics
- arxiv url: http://arxiv.org/abs/2405.02676v1
- Date: Sat, 4 May 2024 14:32:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 18:49:54.536940
- Title: Hand-Object Interaction Controller (HOIC): Deep Reinforcement Learning for Reconstructing Interactions with Physics
- Title（参考訳）: ハンドオブジェクトインタラクションコントローラ(HOIC:Deep Reinforcement Learning for Restructing Interactions with Physics)
- Authors: Haoyu Hu, Xinyu Yi, Zhe Cao, Jun-Hai Yong, Feng Xu,
- Abstract要約: 我々は,1台のRGBDカメラによる手操作動作を,新しい深部強化学習法により再構成する。
本稿では,ネットワークトレーニングをより安定させるために,直接オブジェクト制御を確立するオブジェクト補償制御を提案する。
補償力とトルクを利用して、簡単な点接触モデルをより物理的に解明可能な面接触モデルにシームレスにアップグレードする。
- 参考スコア（独自算出の注目度）: 12.443255379595278
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Hand manipulating objects is an important interaction motion in our daily activities. We faithfully reconstruct this motion with a single RGBD camera by a novel deep reinforcement learning method to leverage physics. Firstly, we propose object compensation control which establishes direct object control to make the network training more stable. Meanwhile, by leveraging the compensation force and torque, we seamlessly upgrade the simple point contact model to a more physical-plausible surface contact model, further improving the reconstruction accuracy and physical correctness. Experiments indicate that without involving any heuristic physical rules, this work still successfully involves physics in the reconstruction of hand-object interactions which are complex motions hard to imitate with deep reinforcement learning. Our code and data are available at https://github.com/hu-hy17/HOIC.
- Abstract（参考訳）: 手で操作する物体は、日々の活動において重要な相互作用運動である。
我々はこの動きを1台のRGBDカメラで忠実に再構成し、物理を活用するための新しい強化学習手法を提案する。
まず、ネットワークトレーニングをより安定させるために、直接オブジェクト制御を確立するオブジェクト補償制御を提案する。
一方、補償力とトルクを利用して、簡単な点接触モデルをより物理的に解明可能な面接触モデルにシームレスにアップグレードし、復元精度と物理的正しさをさらに向上する。
実験は、ヒューリスティックな物理規則を一切含まないまま、この研究は、深い強化学習を模倣し難い複雑な動きである手-物体の相互作用の再構築に物理学をうまく関与させることを示唆している。
私たちのコードとデータはhttps://github.com/hu-hy17/HOIC.comで公開されています。
関連論文リスト
- Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。
DF-Fieldは分散力認識型接触表現モデルである。
剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
論文 参考訳（メタデータ） (2024-11-14T16:29:45Z) - ReinDiffuse: Crafting Physically Plausible Motions with Reinforced Diffusion Model [9.525806425270428]
本稿では、強化学習と運動拡散モデルを組み合わせることで、物理的に信頼できる人間の動きを生成するEmphReinDiffuseを提案する。
動作拡散モデルを用いてパラメータ化された動作分布を出力し、強化学習パラダイムに適合させる。
我々のアプローチは、HumanML3DとKIT-MLという2つの主要なデータセット上で、既存の最先端モデルよりも優れています。
論文 参考訳（メタデータ） (2024-10-09T16:24:11Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - PhysDreamer: Physics-Based Interaction with 3D Objects via Video Generation [62.53760963292465]
PhysDreamerは物理に基づくアプローチで、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える。
本稿では, 弾性物体の多様な例について考察し, ユーザスタディを通じて合成された相互作用の現実性を評価する。
論文 参考訳（メタデータ） (2024-04-19T17:41:05Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳（メタデータ） (2024-03-25T05:12:21Z) - DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via
Physics Simulation [81.11585774044848]
我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。
提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
論文 参考訳（メタデータ） (2023-10-11T05:34:36Z) - HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable
Objects [8.711239906965893]
HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。
提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
論文 参考訳（メタデータ） (2023-01-18T16:55:15Z) - Physical Interaction: Reconstructing Hand-object Interactions with
Physics [17.90852804328213]
本稿では, 復元のあいまいさを解消する物理に基づく手法を提案する。
まず、手動物体の力に基づく動的モデルを提案し、これは観測されていない接触を回復し、また可塑性接触力の解法である。
実験により,提案手法は物理的に可塑性とより正確な手-物体相互作用の両方を再構成することを示した。
論文 参考訳（メタデータ） (2022-09-22T07:41:31Z) - D-Grasp: Physically Plausible Dynamic Grasp Synthesis for Hand-Object
Interactions [47.55376158184854]
動的合成把握タスクを導入する。
既知の6Dポーズと把握基準を持つオブジェクトが与えられた場合、私たちのゴールはオブジェクトをターゲット6Dポーズに移動させる動作を生成することです。
階層的なアプローチは、タスクを低レベルの把握と高レベルのモーション合成に分解する。
論文 参考訳（メタデータ） (2021-12-01T17:04:39Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。