論文の概要: DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via Physics Simulation

• arxiv url: http://arxiv.org/abs/2310.07206v2
• Date: Mon, 27 Nov 2023 03:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 14:01:21.861932
• Title: DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via Physics Simulation
• Title（参考訳）: DeepSimHO:物理シミュレーションによる手動物体間相互作用の安定電位推定
• Authors: Rong Wang, Wei Mao, Hongdong Li
• Abstract要約: 我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。 提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
• 参考スコア（独自算出の注目度）: 81.11585774044848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses the task of 3D pose estimation for a hand interacting with an object from a single image observation. When modeling hand-object interaction, previous works mainly exploit proximity cues, while overlooking the dynamical nature that the hand must stably grasp the object to counteract gravity and thus preventing the object from slipping or falling. These works fail to leverage dynamical constraints in the estimation and consequently often produce unstable results. Meanwhile, refining unstable configurations with physics-based reasoning remains challenging, both by the complexity of contact dynamics and by the lack of effective and efficient physics inference in the data-driven learning framework. To address both issues, we present DeepSimHO: a novel deep-learning pipeline that combines forward physics simulation and backward gradient approximation with a neural network. Specifically, for an initial hand-object pose estimated by a base network, we forward it to a physics simulator to evaluate its stability. However, due to non-smooth contact geometry and penetration, existing differentiable simulators can not provide reliable state gradient. To remedy this, we further introduce a deep network to learn the stability evaluation process from the simulator, while smoothly approximating its gradient and thus enabling effective back-propagation. Extensive experiments show that our method noticeably improves the stability of the estimation and achieves superior efficiency over test-time optimization. The code is available at https://github.com/rongakowang/DeepSimHO.
• Abstract（参考訳）: 本稿では,物体と相互作用する手の3次元ポーズ推定の課題について検討する。 ハンド・オブジェクト相互作用のモデル化では、手が物体を安定して把握し、重力に逆行し、物体の滑りや落下を防止しなければならない動的性質を見落としながら、主に近接する手がかりを利用する。 これらの仕事は、推定において動的制約を活用できず、結果としてしばしば不安定な結果を生み出す。 一方で、物理ベースの推論による不安定な構成の洗練は、接触ダイナミクスの複雑さと、データ駆動学習フレームワークにおける効率的で効率的な物理推論の欠如の両方によって、依然として困難である。 両問題に対処するため,我々は,前方物理学シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた,新しいディープラーニングパイプラインであるdeepsimhoを提案する。 具体的には,ベースネットワークによって推定された初期ハンドオブジェクトポーズに対して,その安定性を評価するために物理シミュレータに転送する。 しかし、非スムース接触形状と浸透のため、既存の微分可能シミュレータは信頼できる状態勾配を提供することができない。 この問題を解決するために,我々は,シミュレータから安定性評価プロセスをスムーズに学習し,その勾配を近似し,効果的なバックプロパゲーションを実現するディープネットワークを提案する。 実験の結果,提案手法は評価の安定性を著しく向上し,テスト時間最適化よりも優れた効率性を実現することがわかった。 コードはhttps://github.com/rongakowang/deepsimhoで入手できる。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Predicting 3D Rigid Body Dynamics with Deep Residual Network [0.0]
  本稿では,C++で実装された3次元物理シミュレータとPyTorchを用いたディープラーニングモデルを組み合わせたフレームワークを提案する。 シミュレータは、線形および角運動、弾性衝突、流体摩擦、重力効果、減衰を含むトレーニングデータを生成する。 我々は,1万のシミュレーションシナリオのデータセットを用いて,ネットワークの性能を評価する。
  論文  参考訳（メタデータ） (2024-07-09T23:40:10Z)
• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• Improving Gradient Computation for Differentiable Physics Simulation with Contacts [10.450509067356148]
  接触による剛体シミュレーションについて検討した。 連続衝突検出による勾配計算の改善とTOI(Time-of-Ipact)の利用を提案する。 そこで,TOI-Veでは,解析解と一致する最適制御系列を学習できることを示す。
  論文  参考訳（メタデータ） (2023-04-28T21:10:16Z)
• DiffCloud: Real-to-Sim from Point Clouds with Differentiable Simulation and Rendering of Deformable Objects [18.266002992029716]
  変形可能な物体の操作に関する研究は、典型的には限られたシナリオで行われている。 様々な種類の変形と相互作用をサポートする現実的なシミュレータは、実験をスピードアップする可能性がある。 高度に変形可能なオブジェクトに対しては、シミュレータの出力と実際のオブジェクトの振る舞いを一致させることが困難である。
  論文  参考訳（メタデータ） (2022-04-07T00:45:26Z)
• {\phi}-SfT: Shape-from-Template with a Physics-Based Deformation Model [69.27632025495512]
  Shape-from-Template (SfT) 法では、単一の単眼RGBカメラから3次元表面の変形を推定する。 本稿では,物理シミュレーションによる2次元観察を解説する新しいSfT手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T17:59:57Z)
• Scalable Differentiable Physics for Learning and Control [99.4302215142673]
  微分物理学は、物理的対象や環境を含む問題を学習し、制御するための強力なアプローチである。 我々は、多数のオブジェクトとその相互作用をサポートすることができる微分可能物理学のためのスケーラブルなフレームワークを開発する。
  論文  参考訳（メタデータ） (2020-07-04T19:07:51Z)
• Occlusion resistant learning of intuitive physics from videos [52.25308231683798]
  人工システムの鍵となる能力は、オブジェクト間の物理的相互作用を理解し、状況の将来的な結果を予測することである。 この能力は直感的な物理学と呼ばれ、近年注目されており、ビデオシーケンスからこれらの物理規則を学ぶためのいくつかの方法が提案されている。
  論文  参考訳（メタデータ） (2020-04-30T19:35:54Z)
• Gaining a Sense of Touch. Physical Parameters Estimation using a Soft Gripper and Neural Networks [3.0892724364965005]
  ロボットグリップを用いた物体との直接相互作用の測定における深層学習アルゴリズムを用いた物理パラメータ推定に関する十分な研究はない。 本研究では、剛性係数の回帰をトレーニング可能なシステムを提案し、物理シミュレータ環境を用いて広範な実験を行った。 本システムでは,Yale OpenHandソフトグリップを用いて,指に装着した慣性測定ユニット(IMU)の読み値に基づいて,物体の硬さを確実に推定することができる。
  論文  参考訳（メタデータ） (2020-03-02T11:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。