Fugu-MT 論文翻訳(概要): Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction

論文の概要: Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction

arxiv url: http://arxiv.org/abs/2110.10174v1
Date: Tue, 19 Oct 2021 18:00:02 GMT
ステータス: 処理完了
システム内更新日: 2021-10-24 11:02:56.087670
Title: Hand-Object Contact Prediction via Motion-Based Pseudo-Labeling and Guided Progressive Label Correction
Title（参考訳）: 運動に基づく擬似ラベルと誘導進行ラベル補正による物体接触予測
Authors: Takuma Yagi, Md Tasnimul Hasan, Yoichi Sato
Abstract要約: 本稿では,手と物体の接触を予測するビデオベース手法を提案する。多数のハンドオブジェクトトラックやコンタクトラベルに注釈をつけるのはコストがかかる。 i)モーションベース擬似ラベルを用いたトレーニングデータの自動収集と(ii)ガイド付きプログレッシブラベル補正(gPLC)からなる半教師付きフレームワークを提案する。
参考スコア（独自算出の注目度）: 27.87570749976023
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Every hand-object interaction begins with contact. Despite predicting the contact state between hands and objects is useful in understanding hand-object interactions, prior methods on hand-object analysis have assumed that the interacting hands and objects are known, and were not studied in detail. In this study, we introduce a video-based method for predicting contact between a hand and an object. Specifically, given a video and a pair of hand and object tracks, we predict a binary contact state (contact or no-contact) for each frame. However, annotating a large number of hand-object tracks and contact labels is costly. To overcome the difficulty, we propose a semi-supervised framework consisting of (i) automatic collection of training data with motion-based pseudo-labels and (ii) guided progressive label correction (gPLC), which corrects noisy pseudo-labels with a small amount of trusted data. We validated our framework's effectiveness on a newly built benchmark dataset for hand-object contact prediction and showed superior performance against existing baseline methods. Code and data are available at https://github.com/takumayagi/hand_object_contact_prediction.
Abstract（参考訳）: すべてのハンドオブジェクトインタラクションは、コンタクトから始まります。手と物体の接触状態を予測することは、手と物体の相互作用を理解するのに有用であるが、手と物体の相互作用が知られていると推定され、詳細は研究されていない。本研究では,手と物体の接触をビデオで予測する手法を提案する。具体的には、ビデオと一対の手とオブジェクトのトラックから、各フレームのバイナリ接触状態(接触または非接触)を予測する。しかし、多数のハンドオブジェクトトラックとコンタクトラベルに注釈をつけるのはコストがかかる。難易度を克服するために,我々は半教師付きフレームワークを提案する。一動きに基づく擬似ラベルによるトレーニングデータの自動収集 (II)少ない信頼データでノイズのある擬似ラベルを補正するプログレッシブラベル補正法(gPLC)を導出する。我々は,手動接触予測のための新しいベンチマークデータセット上で,フレームワークの有効性を検証し,既存のベースライン手法よりも優れた性能を示した。コードとデータはhttps://github.com/takumayagi/hand_object_contact_predictionで入手できる。

関連論文リスト

ClickDiff: Click to Induce Semantic Contact Map for Controllable Grasp Generation with Diffusion Models [17.438429495623755]
ClickDiffは、きめ細かいセマンティックコンタクトマップを利用する制御可能な条件生成モデルである。このフレームワーク内では、セマンティック条件付きモジュールは、きめ細かい接触情報に基づいて適切な接触マップを生成する。提案手法の有効性を検証し,ClickDiffの有効性とロバスト性を実証した。
論文参考訳（メタデータ） (2024-07-28T02:42:29Z)
Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。まず,手や物体の形状や外観を,神経表現と別々に学習する。オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
論文参考訳（メタデータ） (2023-08-22T05:17:41Z)
Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文参考訳（メタデータ） (2023-05-31T17:59:26Z)
ContactArt: Learning 3D Interaction Priors for Category-level Articulated Object and Hand Poses Estimation [46.815231896011284]
そこで我々は,手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動のまず、視覚的遠隔操作を用いてデータセットを収集し、人間のオペレーターが物理的シミュレータ内で直接プレイすることで、調音されたオブジェクトを操作できる。私たちのシステムでは、人手の動きを記録するためにiPhoneしか必要とせず、簡単にスケールアップでき、データやアノテーションの収集コストを大幅に削減できます。
論文参考訳（メタデータ） (2023-05-02T17:24:08Z)
S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
論文参考訳（メタデータ） (2022-08-01T14:05:23Z)
TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement [42.3418874174372]
そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。実験により、TOCHは最先端の3Dハンドオブジェクトインタラクションモデルより優れていることが示された。
論文参考訳（メタデータ） (2022-05-16T20:41:45Z)
ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation [68.80339307258835]
ARCTICは、オブジェクトを巧みに操作する両手のデータセットである。正確な3Dハンドメッシュと、詳細でダイナミックな接触情報を組み合わせた2.1Mビデオフレームを含んでいる。
論文参考訳（メタデータ） (2022-04-28T17:23:59Z)
H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
論文参考訳（メタデータ） (2021-04-22T17:10:42Z)
"What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
論文参考訳（メタデータ） (2020-11-06T10:55:28Z)
ConsNet: Learning Consistency Graph for Zero-Shot Human-Object Interaction Detection [101.56529337489417]
画像中のHuman, Action, Object>の形のHOIインスタンスを検出・認識することを目的としたHuman-Object Interaction (HOI) Detectionの問題点を考察する。我々は、オブジェクト、アクション、インタラクション間の多レベルコンパレンシーは、稀な、あるいは以前には見られなかったHOIのセマンティック表現を生成するための強力な手がかりであると主張している。提案モデルでは,人-対象のペアの視覚的特徴とHOIラベルの単語埋め込みを入力とし,それらを視覚-意味的関節埋め込み空間にマッピングし,類似度を計測して検出結果を得る。
論文参考訳（メタデータ） (2020-08-14T09:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。