論文の概要: Articulated Objects in Free-form Hand Interaction

• arxiv url: http://arxiv.org/abs/2204.13662v1
• Date: Thu, 28 Apr 2022 17:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-29 13:48:31.076766
• Title: Articulated Objects in Free-form Hand Interaction
• Title（参考訳）: フリーフォームハンドインタラクションにおけるArticulated Objects
• Authors: Zicong Fan, Omid Taheri, Dimitrios Tzionas, Muhammed Kocabas, Manuel Kaufmann, Michael J. Black, and Otmar Hilliges
• Abstract要約: ARCTICは、手と関節の物体のフリーフォーム相互作用の最初のデータセットである。 本報告では,RGB画像から両手と関節の物体を共同で再構成する手法であるArcticNetについて述べる。 また、各手から物体表面までの距離を推定する最初の方法であるInterFieldを提案する。
• 参考スコア（独自算出の注目度）: 68.80339307258835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We use our hands to interact with and to manipulate objects. Articulated objects are especially interesting since they often require the full dexterity of human hands to manipulate them. To understand, model, and synthesize such interactions, automatic and robust methods that reconstruct hands and articulated objects in 3D from a color image are needed. Existing methods for estimating 3D hand and object pose from images focus on rigid objects. In part, because such methods rely on training data and no dataset of articulated object manipulation exists. Consequently, we introduce ARCTIC - the first dataset of free-form interactions of hands and articulated objects. ARCTIC has 1.2M images paired with accurate 3D meshes for both hands and for objects that move and deform over time. The dataset also provides hand-object contact information. To show the value of our dataset, we perform two novel tasks on ARCTIC: (1) 3D reconstruction of two hands and an articulated object in interaction; (2) an estimation of dense hand-object relative distances, which we call interaction field estimation. For the first task, we present ArcticNet, a baseline method for the task of jointly reconstructing two hands and an articulated object from an RGB image. For interaction field estimation, we predict the relative distances from each hand vertex to the object surface, and vice versa. We introduce InterField, the first method that estimates such distances from a single RGB image. We provide qualitative and quantitative experiments for both tasks, and provide detailed analysis on the data. Code and data will be available at https://arctic.is.tue.mpg.de.
• Abstract（参考訳）: 私たちは手を使って物体と対話し、操作します。 関節のある物体は、操作に人間の手の全能性を必要とすることが多いため、特に興味深い。 このような相互作用を理解し、モデル化し、合成するには、カラー画像から手と手話の物体を3Dで再構成する自動的かつ堅牢な方法が必要である。 画像から3次元手と物体のポーズを推定する既存の手法は、剛体物体に焦点をあてる。 部分的には、このような方法はトレーニングデータに依存しており、articulated object manipulationのデータセットは存在しない。 その結果、ARCTICは、手と音声による物体の自由形式の相互作用の初めてのデータセットである。 ARCTICは、両手と時間とともに動き、変形する物体の正確な3Dメッシュと、1.2万枚の画像を持っている。 データセットは、ハンドオブジェクトのコンタクト情報も提供する。 提案するデータセットの価値を示すために,(1)2つの手の3次元再構成,(2)相互作用場推定と呼ばれる高密度手対象相対距離の推定という,ARCTIC上での2つの新しいタスクを実行する。 第1の課題として,RGB画像から2つの手と明瞭な物体を共同で再構築する作業のベースライン手法であるArcticNetを提案する。 相互作用場推定では,各手頂点から物体表面までの相対距離を推定し,その逆を推定する。 単一のRGB画像からそのような距離を推定する最初の方法であるInterFieldを導入する。 両タスクの質的,定量的な実験を行い,データの詳細な分析を行う。 コードとデータはhttps://arctic.is.tue.mpg.deで入手できる。

関連論文リスト

• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• SHOWMe: Benchmarking Object-agnostic Hand-Object 3D Reconstruction [13.417086460511696]
  96本の動画からなるSHOWMeデータセットについて,実物と詳細な3Dテクスチャメッシュで注釈付けした。 我々は、手の動きがビデオシーケンス全体を通して一定である厳密な手オブジェクトのシナリオを考察する。 この仮定により、SHOWMeの画像シーケンスにサブミリメートル精度の基底3Dスキャンを登録できる。
  論文  参考訳（メタデータ） (2023-09-19T16:48:29Z)
• CaSAR: Contact-aware Skeletal Action Recognition [47.249908147135855]
  コンタクト対応骨格行動認識(CaSAR)と呼ばれる新しいフレームワークを提案する。 CaSARは空間情報を包含する手オブジェクト相互作用の新たな表現を使用する。 我々のフレームワークは、アクションシーケンスの各フレームのオブジェクトに触れたり、遠ざかったりする方法を学び、この情報を使ってアクションクラスを予測することができる。
  論文  参考訳（メタデータ） (2023-09-17T09:42:40Z)
• ROAM: Robust and Object-Aware Motion Generation Using Neural Pose Descriptors [73.26004792375556]
  本稿では,3次元オブジェクト認識キャラクタ合成における新しいシーンオブジェクトへのロバストさと一般化が,参照オブジェクトを1つも持たないモーションモデルをトレーニングすることで実現可能であることを示す。 我々は、オブジェクト専用のデータセットに基づいて訓練された暗黙的な特徴表現を活用し、オブジェクトの周りのSE(3)-同変記述体フィールドをエンコードする。 本研究では,3次元仮想キャラクタの動作と相互作用の質,および未知のオブジェクトを持つシナリオに対するロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-24T17:59:51Z)
• Estimating 3D Motion and Forces of Human-Object Interactions from Internet Videos [49.52070710518688]
  一つのRGBビデオからオブジェクトと対話する人の3D動作を再構築する手法を提案する。 本手法では,被験者の3次元ポーズを物体のポーズ,接触位置,人体の接触力とともに推定する。
  論文  参考訳（メタデータ） (2021-11-02T13:40:18Z)
• D3D-HOI: Dynamic 3D Human-Object Interactions from Videos [49.38319295373466]
  本稿では,D3D-HOIについて紹介する。D3D-HOIは3次元オブジェクトのポーズ,形状,動きを,人間と物体の相互作用の時,地上の真理アノテーションを付加したモノクロビデオのデータセットである。 我々のデータセットは、様々な現実世界のシーンとカメラの視点から捉えた、いくつかの共通したオブジェクトで構成されている。 我々は、推定された3次元人間のポーズを利用して、物体の空間的レイアウトとダイナミクスをより正確に推定する。
  論文  参考訳（メタデータ） (2021-08-19T00:49:01Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。