論文の概要: Stability-driven Contact Reconstruction From Monocular Color Images

• arxiv url: http://arxiv.org/abs/2205.00848v1
• Date: Mon, 2 May 2022 12:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 15:13:34.740419
• Title: Stability-driven Contact Reconstruction From Monocular Color Images
• Title（参考訳）: 単眼カラー画像からの安定駆動接触再構成
• Authors: Zimeng Zhao, Binghui Zuo, Wei Xie, Yangang Wang
• Abstract要約: 物理的接触は、手動状態の復元にさらなる制約を与える。 既存の手法では、接触ラベル付きデータセットから距離閾値または事前に駆動される手動接触を最適化する。 我々のキーとなる考え方は、単分子画像から直接接触パターンを再構築し、シミュレーションの物理的安定性基準を利用して最適化することである。
• 参考スコア（独自算出の注目度）: 7.427212296770506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physical contact provides additional constraints for hand-object state reconstruction as well as a basis for further understanding of interaction affordances. Estimating these severely occluded regions from monocular images presents a considerable challenge. Existing methods optimize the hand-object contact driven by distance threshold or prior from contact-labeled datasets. However, due to the number of subjects and objects involved in these indoor datasets being limited, the learned contact patterns could not be generalized easily. Our key idea is to reconstruct the contact pattern directly from monocular images, and then utilize the physical stability criterion in the simulation to optimize it. This criterion is defined by the resultant forces and contact distribution computed by the physics engine.Compared to existing solutions, our framework can be adapted to more personalized hands and diverse object shapes. Furthermore, an interaction dataset with extra physical attributes is created to verify the sim-to-real consistency of our methods. Through comprehensive evaluations, hand-object contact can be reconstructed with both accuracy and stability by the proposed framework.
• Abstract（参考訳）: 物理的接触は、手動状態再構築のための追加の制約と、相互作用の可利用性に関するさらなる理解の基盤を提供する。 単眼画像から重度の閉塞領域を推定することは大きな課題となる。 既存の手法では、接触ラベル付きデータセットから距離閾値または事前に駆動される手動接触を最適化する。 しかし,これらの屋内データセットに係わる対象や対象の数が限られているため,学習された接触パターンの一般化は困難であった。 私たちの重要なアイデアは、単眼画像から直接接触パターンを再構成し、シミュレーションの物理的安定性基準を利用してそれを最適化することです。 この基準は、物理エンジンが計算した力と接触分布によって定義され、既存のソリューションと比較して、我々のフレームワークはよりパーソナライズされた手や多様な物体形状に適応することができる。 さらに、追加の物理的属性を持つインタラクションデータセットを作成し、メソッドのsim-to-real一貫性を検証する。 包括的評価により,提案手法により手指接触の精度と安定性を両立させることができる。

関連論文リスト

• PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
  PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。 この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。 また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
  論文  参考訳（メタデータ） (2024-04-25T15:06:58Z)
• NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction [19.957593804898064]
  ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。 私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。 提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
  論文  参考訳（メタデータ） (2024-02-08T10:09:12Z)
• DeepSimHO: Stable Pose Estimation for Hand-Object Interaction via Physics Simulation [81.11585774044848]
  我々は、前方物理シミュレーションと後方勾配近似とニューラルネットワークを組み合わせた新しいディープラーニングパイプラインであるDeepSimHOを紹介する。 提案手法は, 評価の安定性を著しく向上し, テスト時間最適化よりも優れた効率性を実現する。
  論文  参考訳（メタデータ） (2023-10-11T05:34:36Z)
• Nonrigid Object Contact Estimation With Regional Unwrapping Transformer [16.988812837693203]
  手と非剛体物体の間の接触パターンの獲得は、ビジョンとロボティクスのコミュニティにおいて共通の関心事である。 既存の学習ベースの手法は、モノクル画像からの厳密なものとの接触をより重視する。 RUPと呼ばれる新しいハンドオブジェクト接触表現を提案する。これは、推定されたハンドオブジェクト表面を複数の高分解能な2次元領域プロファイルとして解放する。
  論文  参考訳（メタデータ） (2023-08-27T11:37:26Z)
• Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction on Monocular RGB Video [104.69686024776396]
  モノラルなRGBデータからインタラクションハンドを再構築することは、多くの干渉要因が伴うため、難しい作業である。 これまでの作業は、物理的に妥当な関係をモデル化することなく、単一のRGBイメージからの情報のみを活用する。 本研究は, 空間的時間的情報を明示的に活用し, より優れた対話的手指再建を実現することを目的としている。
  論文  参考訳（メタデータ） (2023-08-08T06:16:37Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• Integrated Object Deformation and Contact Patch Estimation from Visuo-Tactile Feedback [8.420670642409219]
  本稿では,ビジュオ触覚フィードバックからオブジェクトの変形と接触パッチを共同でモデル化する表現を提案する。 我々は,NDCFを学習するためのニューラルネットワークアーキテクチャを提案し,シミュレーションデータを用いて学習する。 我々は,学習したNDCFが微調整を必要とせず,直接現実世界に転送されることを実証した。
  論文  参考訳（メタデータ） (2023-05-23T18:53:24Z)
• Visual-Tactile Sensing for In-Hand Object Reconstruction [38.42487660352112]
  我々は、視覚触覚による手動オブジェクト再構成フレームワーク textbfVTacO を提案し、手動オブジェクト再構成のために textbfVTacOH に拡張する。 シミュレーション環境であるVT-Simは、剛性オブジェクトと変形可能なオブジェクトの両方のハンドオブジェクトインタラクションの生成をサポートする。
  論文  参考訳（メタデータ） (2023-03-25T15:16:31Z)
• Physical Interaction: Reconstructing Hand-object Interactions with Physics [17.90852804328213]
  本稿では, 復元のあいまいさを解消する物理に基づく手法を提案する。 まず、手動物体の力に基づく動的モデルを提案し、これは観測されていない接触を回復し、また可塑性接触力の解法である。 実験により,提案手法は物理的に可塑性とより正確な手-物体相互作用の両方を再構成することを示した。
  論文  参考訳（メタデータ） (2022-09-22T07:41:31Z)
• Physically Plausible Pose Refinement using Fully Differentiable Forces [68.8204255655161]
  対象物が経験する力を学習することでポーズ推定を精緻化するエンドツーエンドの差別化モデルを提案する。 学習されたネット力と有限位置差に基づくネット力の推定とをマッチングすることにより、このモデルは物体の動きを正確に記述する力を見つけることができる。 rgbや深度画像のデータを使わずに、このモデルがポーズの修正に成功し、接点マップが地面の真実に合致することを示す。
  論文  参考訳（メタデータ） (2021-05-17T23:33:04Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。