論文の概要: Ins-HOI: Instance Aware Human-Object Interactions Recovery
- arxiv url: http://arxiv.org/abs/2312.09641v1
- Date: Fri, 15 Dec 2023 09:30:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 16:27:09.111040
- Title: Ins-HOI: Instance Aware Human-Object Interactions Recovery
- Title(参考訳): Ins-HOI: ヒューマンオブジェクトインタラクションのリカバリを意識したインスタンス
- Authors: Jiajun Zhang, Yuxiang Zhang, Hongwen Zhang, Boyao Zhou, Ruizhi Shao,
Zonghai Hu, Yebin Liu
- Abstract要約: 本稿では,実例レベルの暗黙的再構築による人・手・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物
我々は,人・手・オブジェクトの同時表現を支援するために,インスタンスレベルの占有場を導入する。
補完訓練中、人や手や物体の個々のスキャンをランダムに構成することにより、実捕集データを合成データで強化する。
- 参考スコア(独自算出の注目度): 38.41753245444823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering detailed interactions between humans/hands and objects is an
appealing yet challenging task. Existing methods typically use template-based
representations to track human/hand and objects in interactions. Despite the
progress, they fail to handle the invisible contact surfaces. In this paper, we
propose Ins-HOI, an end-to-end solution to recover human/hand-object
reconstruction via instance-level implicit reconstruction. To this end, we
introduce an instance-level occupancy field to support simultaneous human/hand
and object representation, and a complementary training strategy to handle the
lack of instance-level ground truths. Such a representation enables learning a
contact prior implicitly from sparse observations. During the complementary
training, we augment the real-captured data with synthesized data by randomly
composing individual scans of humans/hands and objects and intentionally
allowing for penetration. In this way, our network learns to recover individual
shapes as completely as possible from the synthesized data, while being aware
of the contact constraints and overall reasonability based on real-captured
scans. As demonstrated in experiments, our method Ins-HOI can produce
reasonable and realistic non-visible contact surfaces even in cases of
extremely close interaction. To facilitate the research of this task, we
collect a large-scale, high-fidelity 3D scan dataset, including 5.2k
high-quality scans with real-world human-chair and hand-object interactions. We
will release our dataset and source codes. Data examples and the video results
of our method can be found on the project page.
- Abstract(参考訳): 人間と手と物体の詳細な相互作用を復元することは、魅力的だが難しい課題だ。
既存のメソッドは通常、テンプレートベースの表現を使ってヒューマン/ハンドとオブジェクトのインタラクションを追跡する。
進歩にもかかわらず、それらは目に見えない接触面を処理できない。
本稿では,インスタンスレベルの暗黙的再構成による人・手オブジェクトの復元のためのエンドツーエンドソリューションであるIns-HOIを提案する。
この目的のために,人間/手/オブジェクトの同時表現をサポートするインスタンスレベルの占有領域と,インスタンスレベルの基礎的真理の欠如に対処するための補完的なトレーニング戦略を導入する。
このような表現は、疎い観察から暗黙的に接触を学習することができる。
補足訓練中に,人間・手・物体の個別スキャンをランダムに構成し,故意に浸透を許すことにより,合成データによる実取得データを増強する。
このようにして、我々のネットワークは、実際のスキャンに基づいて接触制約や全体的な推論可能性を認識しながら、合成データから可能な限り個々の形状を復元することを学ぶ。
実験で示されたように,本手法は極めて密接な相互作用であっても,合理的かつ現実的な非可視接触面を生成できる。
この課題の解明を容易にするため,実世界におけるヒューマンチェアとハンドオブジェクトインタラクションによる5.2kの高品質スキャンを含む,大規模で高忠実な3Dスキャンデータセットを収集した。
データセットとソースコードをリリースします。
データ例と本手法のビデオ結果については,プロジェクトのページで確認することができる。
関連論文リスト
- Learning Explicit Contact for Implicit Reconstruction of Hand-held
Objects from Monocular Images [59.49985837246644]
我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。
まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。
第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-05-31T17:59:26Z) - ContactArt: Learning 3D Interaction Priors for Category-level
Articulated Object and Hand Poses Estimation [34.7068170774934]
そこで我々は,手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動・手動の
まず、視覚的遠隔操作を用いてデータセットを収集し、人間のオペレーターが物理的シミュレータ内で直接プレイすることで、調音されたオブジェクトを操作できる。
私たちのシステムでは、人手の動きを記録するためにiPhoneしか必要とせず、簡単にスケールアップでき、データやアノテーションの収集コストを大幅に削減できます。
論文 参考訳(メタデータ) (2023-05-02T17:24:08Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳(メタデータ) (2022-04-14T13:21:19Z) - CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。
2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。
提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
論文 参考訳(メタデータ) (2022-04-05T18:38:06Z) - Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。
まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文 参考訳(メタデータ) (2021-08-16T12:26:34Z) - REGRAD: A Large-Scale Relational Grasp Dataset for Safe and
Object-Specific Robotic Grasping in Clutter [52.117388513480435]
本稿では,オブジェクト間の関係のモデル化を継続するregradという新しいデータセットを提案する。
データセットは2D画像と3Dポイントクラウドの両方で収集されます。
ユーザは、好きなだけ多くのデータを生成するために、自由に独自のオブジェクトモデルをインポートできる。
論文 参考訳(メタデータ) (2021-04-29T05:31:21Z) - Learning Object Placements For Relational Instructions by Hallucinating
Scene Representations [26.897316325189205]
単一入力画像から空間関係の集合に対する画素単位の物体配置確率を推定するための畳み込みニューラルネットワークを提案する。
本手法では,オブジェクトの画素関係確率や3次元モデルに対して,地上の真理データを必要としない。
実世界のデータと人間ロボット実験を用いて,本手法の有効性を実証した。
論文 参考訳(メタデータ) (2020-01-23T12:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。