論文の概要: Detecting Hands and Recognizing Physical Contact in the Wild
- arxiv url: http://arxiv.org/abs/2010.09676v1
- Date: Mon, 19 Oct 2020 17:11:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 22:16:05.610998
- Title: Detecting Hands and Recognizing Physical Contact in the Wild
- Title（参考訳）: 野生における手の検出と身体接触の認識
- Authors: Supreeth Narasimhaswamy, Trung Nguyen, Minh Hoai
- Abstract要約: 拘束のない状態で手の検出と接触状態の認識という新たな課題について検討する。
本研究では,Mask-RCNNをベースとした新しい畳み込みネットワークを提案する。
- 参考スコア（独自算出の注目度）: 26.7277759202722
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate a new problem of detecting hands and recognizing their
physical contact state in unconstrained conditions. This is a challenging
inference task given the need to reason beyond the local appearance of hands.
The lack of training annotations indicating which object or parts of an object
the hand is in contact with further complicates the task. We propose a novel
convolutional network based on Mask-RCNN that can jointly learn to localize
hands and predict their physical contact to address this problem. The network
uses outputs from another object detector to obtain locations of objects
present in the scene. It uses these outputs and hand locations to recognize the
hand's contact state using two attention mechanisms. The first attention
mechanism is based on the hand and a region's affinity, enclosing the hand and
the object, and densely pools features from this region to the hand region. The
second attention module adaptively selects salient features from this plausible
region of contact. To develop and evaluate our method's performance, we
introduce a large-scale dataset called ContactHands, containing unconstrained
images annotated with hand locations and contact states. The proposed network,
including the parameters of attention modules, is end-to-end trainable. This
network achieves approximately 7\% relative improvement over a baseline network
that was built on the vanilla Mask-RCNN architecture and trained for
recognizing hand contact states.
- Abstract（参考訳）: 拘束のない状態で手の検出と接触状態の認識という新たな課題について検討する。
これは、ローカルな手の外観を超えて推論する必要性を考えると、難しい推論タスクである。
手が接触しているオブジェクトのオブジェクトまたは部分を示すトレーニングアノテーションの欠如は、さらにタスクを複雑にする。
本研究では,Mask-RCNNをベースとした新しい畳み込みネットワークを提案する。
ネットワークは、他のオブジェクト検出器からの出力を使用して、シーンに存在するオブジェクトの場所を取得する。
これらの出力と手の位置を使用して、2つの注意機構を用いて手の接触状態を認識する。
第1の注意機構は、手と領域の親和性に基づいて、手と対象を囲み、この領域から手領域までの特徴を密にプールする。
第2の注意モジュールは、この可愛らしい接触領域から有能な特徴を適応的に選択する。
提案手法の性能評価を行うため,手の位置や接触状態を付加した非拘束画像を含むコンタクトハンズと呼ばれる大規模データセットを導入した。
アテンションモジュールのパラメータを含む提案ネットワークは、エンドツーエンドのトレーニング可能である。
このネットワークは、バニラMask-RCNNアーキテクチャ上に構築され、手動接触状態を認識するために訓練されたベースラインネットワークに対して、約7倍の相対的な改善を実現する。
関連論文リスト
- RegionGrasp: A Novel Task for Contact Region Controllable Hand Grasp Generation [35.11194409871017]
RegionGrasp-CVAEは3Dオブジェクトの可塑性ハンドグリップを生成するために提案されている。
コンディションエンコーダO-Encとプレトレーニング戦略O-Encを用いる。
Hoinetは手動オブジェクトのインタラクション機能をエンコードするために導入された。
論文 参考訳（メタデータ） (2024-10-10T14:52:30Z) - Nonrigid Object Contact Estimation With Regional Unwrapping Transformer [16.988812837693203]
手と非剛体物体の間の接触パターンの獲得は、ビジョンとロボティクスのコミュニティにおいて共通の関心事である。
既存の学習ベースの手法は、モノクル画像からの厳密なものとの接触をより重視する。
RUPと呼ばれる新しいハンドオブジェクト接触表現を提案する。これは、推定されたハンドオブジェクト表面を複数の高分解能な2次元領域プロファイルとして解放する。
論文 参考訳（メタデータ） (2023-08-27T11:37:26Z) - FaceTouch: Detecting hand-to-face touch with supervised contrastive
learning to assist in tracing infectious disease [6.164223149261533]
FaceTouchは、ビデオチャット、バスの映像、CCTVのフィードなど、手動による触覚の検出を目指している。
これは、手の動きと顔の近さを単純に識別する以上の複雑な都市シナリオで有用であることが示されている。
論文 参考訳（メタデータ） (2023-08-24T14:55:38Z) - Novel-view Synthesis and Pose Estimation for Hand-Object Interaction
from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。
まず,手や物体の形状や外観を,神経表現と別々に学習する。
オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文 参考訳（メタデータ） (2023-08-22T05:17:41Z) - Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-05-31T17:59:26Z) - Collaborative Learning for Hand and Object Reconstruction with
Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。
我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。
広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文 参考訳（メタデータ） (2022-04-27T17:00:54Z) - HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network [57.206129938611454]
本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。
閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
論文 参考訳（メタデータ） (2022-03-28T08:12:16Z) - Learning Visual Affordance Grounding from Demonstration Videos [76.46484684007706]
Affordance Groundingは、画像/ビデオから人とオブジェクト間のすべての可能な相互作用領域を分割することを目的としている。
実演ビデオにおける手の位置と動作から得られる手掛かりを活用できる,手支援型住宅地すべりネットワーク(HAGNet)を提案する。
論文 参考訳（メタデータ） (2021-08-12T11:45:38Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z) - 3D Shape Reconstruction from Vision and Touch [62.59044232597045]
3次元形状再構成では、視覚と触覚の相補的な融合はほとんど未解明のままである。
本稿では,ロボットハンドと多数の3Dオブジェクトの相互作用から,触覚と視覚信号のシミュレーションデータセットを提案する。
論文 参考訳（メタデータ） (2020-07-07T20:20:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。