論文の概要: Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution

• arxiv url: http://arxiv.org/abs/2204.13062v1
• Date: Wed, 27 Apr 2022 17:00:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-28 15:36:44.602870
• Title: Collaborative Learning for Hand and Object Reconstruction with Attention-guided Graph Convolution
• Title（参考訳）: 注意誘導グラフ畳み込みを用いた手と物体の協調学習
• Authors: Tze Ho Elden Tse, Kwang In Kim, Ales Leonardis, Hyung Jin Chang
• Abstract要約: インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。 広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
• 参考スコア（独自算出の注目度）: 49.10497573378427
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Estimating the pose and shape of hands and objects under interaction finds numerous applications including augmented and virtual reality. Existing approaches for hand and object reconstruction require explicitly defined physical constraints and known objects, which limits its application domains. Our algorithm is agnostic to object models, and it learns the physical rules governing hand-object interaction. This requires automatically inferring the shapes and physical interaction of hands and (potentially unknown) objects. We seek to approach this challenging problem by proposing a collaborative learning strategy where two-branches of deep networks are learning from each other. Specifically, we transfer hand mesh information to the object branch and vice versa for the hand branch. The resulting optimisation (training) problem can be unstable, and we address this via two strategies: (i) attention-guided graph convolution which helps identify and focus on mutual occlusion and (ii) unsupervised associative loss which facilitates the transfer of information between the branches. Experiments using four widely-used benchmarks show that our framework achieves beyond state-of-the-art accuracy in 3D pose estimation, as well as recovers dense 3D hand and object shapes. Each technical component above contributes meaningfully in the ablation study.
• Abstract（参考訳）: 相互作用中の手や物体のポーズや形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。 手動およびオブジェクト再構成のための既存のアプローチは、明確に定義された物理的制約と既知のオブジェクトを必要とし、アプリケーションドメインを制限します。 本アルゴリズムはオブジェクトモデルに非依存であり,手動オブジェクト間相互作用を規定する物理規則を学習する。 これは手と(潜在的に未知の)物体の形状と物理的相互作用を自動的に推測する必要がある。 我々は,深層ネットワークの2つの領域が相互に学習する協調学習戦略を提案することにより,この課題に対処しようとする。 具体的には、ハンドメッシュ情報をオブジェクトブランチに転送し、その逆をハンドブランチに転送する。 結果として生じる最適化(トレーニング)問題は不安定になり得ます。 (i)相互咬合を識別し集中する注意誘導グラフ畳み込み (二)支店間の情報の伝達を容易にする無監督連想損失 4つの広く使われているベンチマークを用いた実験により、3dポーズ推定における最先端の精度を超え、密集した3d手や物体形状を回復できることが示されている。 上記の各技術要素はアブレーション研究に有意義に貢献する。

関連論文リスト

• Hand-object reconstruction via interaction-aware graph attention mechanism [25.396356108313178]
  手と物体の両方のポーズを推定することは、研究の重要な領域となっている。 本稿では,対話型グラフアテンション機構を組み込んだグラフベースの精錬手法を提案する。 提案手法の有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-09-26T08:23:04Z)
• Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
  スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。 まず,手や物体の形状や外観を,神経表現と別々に学習する。 オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-22T05:17:41Z)
• Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation of In-hand Objects [1.8263882169310044]
  マルチモーダル(ビジョンとタッチ)データを組み合わせた階層型グラフニューラルネットワークアーキテクチャを提案する。 また、グラフベースのオブジェクト表現を学習するために、モダリティ内および横断的に情報を流す階層的なメッセージパッシング操作を導入する。
  論文  参考訳（メタデータ） (2023-06-28T01:18:53Z)
• HMDO: Markerless Multi-view Hand Manipulation Capture with Deformable Objects [8.711239906965893]
  HMDOは、手と変形可能な物体の対話的な動きを記録する最初のマーカーレス変形可能な相互作用データセットである。 提案手法は,手と変形可能な物体の対話的動きを高品質に再現することができる。
  論文  参考訳（メタデータ） (2023-01-18T16:55:15Z)
• Interacting Hand-Object Pose Estimation via Dense Mutual Attention [97.26400229871888]
  3Dハンドオブジェクトのポーズ推定は多くのコンピュータビジョンアプリケーションの成功の鍵となる。 本研究では,手と物体間の微粒な依存関係をモデル化できる新しい相互注意機構を提案する。 提案手法は,高品質かつリアルタイムな推論速度で,物理的に妥当なポーズを生成できる。
  論文  参考訳（メタデータ） (2022-11-16T10:01:33Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。