論文の概要: Kinematics-based 3D Human-Object Interaction Reconstruction from Single View

• arxiv url: http://arxiv.org/abs/2407.14043v1
• Date: Fri, 19 Jul 2024 05:44:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 18:43:32.377857
• Title: Kinematics-based 3D Human-Object Interaction Reconstruction from Single View
• Title（参考訳）: キネマティクスに基づく単一視点からの3次元人-物体インタラクション再構成
• Authors: Yuhang Chen, Chenxing Wang,
• Abstract要約: 既存の方法は、単に身体のポーズを単に屋内データセットのネットワークトレーニングに依存するだけである。 本研究では,人体の関節を人体接触領域へ正確に駆動するキネマティクスに基づく手法を提案する。
• 参考スコア（独自算出の注目度）: 10.684643503514849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reconstructing 3D human-object interaction (HOI) from single-view RGB images is challenging due to the absence of depth information and potential occlusions. Existing methods simply predict the body poses merely rely on network training on some indoor datasets, which cannot guarantee the rationality of the results if some body parts are invisible due to occlusions that appear easily. Inspired by the end-effector localization task in robotics, we propose a kinematics-based method that can drive the joints of human body to the human-object contact regions accurately. After an improved forward kinematics algorithm is proposed, the Multi-Layer Perceptron is introduced into the solution of inverse kinematics process to determine the poses of joints, which achieves precise results than the commonly-used numerical methods in robotics. Besides, a Contact Region Recognition Network (CRRNet) is also proposed to robustly determine the contact regions using a single-view video. Experimental results demonstrate that our method outperforms the state-of-the-art on benchmark BEHAVE. Additionally, our approach shows good portability and can be seamlessly integrated into other methods for optimizations.
• Abstract（参考訳）: シングルビューRGB画像からの3次元人-物体相互作用(HOI)の再構成は、深度情報や潜在的な閉塞が欠如しているため困難である。 既存の方法では、身体のポーズは単に屋内のデータセットのネットワークトレーニングにのみ依存しているだけであり、容易に見える閉塞のために身体の一部が見えない場合、結果の合理性を保証することはできない。 ロボット工学におけるエンドエフェクタローカライゼーションタスクに着想を得て,人体と物体の接触領域を正確に駆動するキネマティクスに基づく手法を提案する。 改良された前方運動学アルゴリズムが提案された後、逆運動学の解法に多層知覚論を導入し、関節のポーズを決定する。 さらに, 接触領域認識ネットワーク (CRRNet) も提案され, 単一視点映像を用いて接触領域を頑健に判定する。 実験結果から,本手法はベンチマークBEHAVEにおいて最先端の手法よりも優れていることが示された。 さらに,本手法はポータビリティが良好であり,最適化のための他の手法にシームレスに統合できる。

関連論文リスト

• 3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
  本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。 暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。 提案モデルは最先端のモデルに匹敵する。
  論文  参考訳（メタデータ） (2024-05-12T05:36:37Z)
• Interaction-Driven Active 3D Reconstruction with Object Interiors [17.48872400701787]
  本稿では,視覚認識,ロボットと物体の相互作用,および3Dスキャンを統合したアクティブな3次元再構成手法を提案する。 本手法は,RGBDセンサを内蔵したFetchロボットによって自動的に動作させる。
  論文  参考訳（メタデータ） (2023-10-23T08:44:38Z)
• A Distance-Geometric Method for Recovering Robot Joint Angles From an RGB Image [7.971699294672282]
  本稿では,ロボットマニピュレータの関節角度を現在の構成の1つのRGB画像のみを用いて検索する手法を提案する。 提案手法は,構成空間の距離幾何学的表現に基づいて,ロボットの運動モデルに関する知識を活用する。
  論文  参考訳（メタデータ） (2023-01-05T12:57:45Z)
• Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from Depth Maps [66.24554680709417]
  協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。 本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
  論文  参考訳（メタデータ） (2022-07-06T08:52:12Z)
• LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human Bodies [78.17425779503047]
  本稿では,人体に対する新しい暗黙の表現法を提案する。 完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。 我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
  論文  参考訳（メタデータ） (2021-11-30T04:10:57Z)
• Skeleton-Based Mutually Assisted Interacted Object Localization and Human Action Recognition [111.87412719773889]
  本研究では,骨格データに基づく「相互作用対象の局所化」と「人間の行動認識」のための共同学習フレームワークを提案する。 本手法は,人間の行動認識のための最先端の手法を用いて,最高の,あるいは競争的な性能を実現する。
  論文  参考訳（メタデータ） (2021-10-28T10:09:34Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation [89.82169646672872]
  本稿では,ロボットアームの関節構成を,モデルに先入観を持たずにRGBまたはRGB-D画像のシーケンスから推定する,教師なし視覚ベースシステムを提案する。 我々は,古典幾何学的定式化と深層学習を組み合わせることで,この課題を解決するために,極性多剛体制約を拡張した。
  論文  参考訳（メタデータ） (2020-11-30T20:46:48Z)
• Monocular Human Pose and Shape Reconstruction using Part Differentiable Rendering [53.16864661460889]
  近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。 本稿では,ボディセグメンテーションを重要な監視対象として紹介する。 部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
  論文  参考訳（メタデータ） (2020-03-24T14:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。