論文の概要: Ins-HOI: Instance Aware Human-Object Interactions Recovery
- arxiv url: http://arxiv.org/abs/2312.09641v1
- Date: Fri, 15 Dec 2023 09:30:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 16:27:09.111040
- Title: Ins-HOI: Instance Aware Human-Object Interactions Recovery
- Title（参考訳）: Ins-HOI: ヒューマンオブジェクトインタラクションのリカバリを意識したインスタンス
- Authors: Jiajun Zhang, Yuxiang Zhang, Hongwen Zhang, Boyao Zhou, Ruizhi Shao,
Zonghai Hu, Yebin Liu
- Abstract要約: 本稿では,実例レベルの暗黙的再構築による人・手・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物・物
我々は,人・手・オブジェクトの同時表現を支援するために,インスタンスレベルの占有場を導入する。
補完訓練中、人や手や物体の個々のスキャンをランダムに構成することにより、実捕集データを合成データで強化する。
- 参考スコア（独自算出の注目度）: 38.41753245444823
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recovering detailed interactions between humans/hands and objects is an
appealing yet challenging task. Existing methods typically use template-based
representations to track human/hand and objects in interactions. Despite the
progress, they fail to handle the invisible contact surfaces. In this paper, we
propose Ins-HOI, an end-to-end solution to recover human/hand-object
reconstruction via instance-level implicit reconstruction. To this end, we
introduce an instance-level occupancy field to support simultaneous human/hand
and object representation, and a complementary training strategy to handle the
lack of instance-level ground truths. Such a representation enables learning a
contact prior implicitly from sparse observations. During the complementary
training, we augment the real-captured data with synthesized data by randomly
composing individual scans of humans/hands and objects and intentionally
allowing for penetration. In this way, our network learns to recover individual
shapes as completely as possible from the synthesized data, while being aware
of the contact constraints and overall reasonability based on real-captured
scans. As demonstrated in experiments, our method Ins-HOI can produce
reasonable and realistic non-visible contact surfaces even in cases of
extremely close interaction. To facilitate the research of this task, we
collect a large-scale, high-fidelity 3D scan dataset, including 5.2k
high-quality scans with real-world human-chair and hand-object interactions. We
will release our dataset and source codes. Data examples and the video results
of our method can be found on the project page.
- Abstract（参考訳）: 人間と手と物体の詳細な相互作用を復元することは、魅力的だが難しい課題だ。
既存のメソッドは通常、テンプレートベースの表現を使ってヒューマン/ハンドとオブジェクトのインタラクションを追跡する。
進歩にもかかわらず、それらは目に見えない接触面を処理できない。
本稿では,インスタンスレベルの暗黙的再構成による人・手オブジェクトの復元のためのエンドツーエンドソリューションであるIns-HOIを提案する。
この目的のために,人間/手/オブジェクトの同時表現をサポートするインスタンスレベルの占有領域と,インスタンスレベルの基礎的真理の欠如に対処するための補完的なトレーニング戦略を導入する。
このような表現は、疎い観察から暗黙的に接触を学習することができる。
補足訓練中に,人間・手・物体の個別スキャンをランダムに構成し,故意に浸透を許すことにより,合成データによる実取得データを増強する。
このようにして、我々のネットワークは、実際のスキャンに基づいて接触制約や全体的な推論可能性を認識しながら、合成データから可能な限り個々の形状を復元することを学ぶ。
実験で示されたように,本手法は極めて密接な相互作用であっても,合理的かつ現実的な非可視接触面を生成できる。
この課題の解明を容易にするため,実世界におけるヒューマンチェアとハンドオブジェクトインタラクションによる5.2kの高品質スキャンを含む,大規模で高忠実な3Dスキャンデータセットを収集した。
データセットとソースコードをリリースします。
データ例と本手法のビデオ結果については,プロジェクトのページで確認することができる。
関連論文リスト
- Ask, Pose, Unite: Scaling Data Acquisition for Close Interactions with Vision Language Models [5.541130887628606]
密接な人間間相互作用における社会的ダイナミクスはヒューマンメッシュ推定(HME)に重大な課題をもたらす
本稿では,LVLM(Large Vision Language Models)を用いた新しいデータ生成手法を提案する。
この手法は、アノテーションの負担を軽減するだけでなく、HME内の密接な相互作用に適した包括的なデータセットの組み立てを可能にする。
論文 参考訳（メタデータ） (2024-10-01T01:14:24Z) - Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。
一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
論文 参考訳（メタデータ） (2024-06-17T07:43:53Z) - Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳（メタデータ） (2024-03-13T15:45:04Z) - Template Free Reconstruction of Human-object Interaction with Procedural Interaction Generation [38.08445005326031]
提案するProciGenは,多種多様なオブジェクトの相互作用と対話性の両方で,プロシージャ的にデータセットを生成する。
我々は3Dで1M以上の人間と物体の相互作用ペアを生成し、この大規模データを利用してHDM(Procedural Diffusion Model)を訓練する。
我々のHDMは、現実的な相互作用と高精度な人間と物体の形状の両方を学習する画像条件拡散モデルである。
論文 参考訳（メタデータ） (2023-12-12T08:32:55Z) - Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast
Contrastive Fusion [110.84357383258818]
本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。
このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。
我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
論文 参考訳（メタデータ） (2023-06-07T17:57:45Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳（メタデータ） (2022-12-20T19:50:54Z) - BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。
このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
論文 参考訳（メタデータ） (2022-04-14T13:21:19Z) - DemoGrasp: Few-Shot Learning for Robotic Grasping with Human
Demonstration [42.19014385637538]
本稿では,ロボットに対して,単純で短い人間の実演で物体をつかむ方法を教えることを提案する。
まず、人間と物体の相互作用を示すRGB-D画像の小さなシーケンスを提示する。
このシーケンスを使用して、インタラクションを表す手とオブジェクトメッシュを構築する。
論文 参考訳（メタデータ） (2021-12-06T08:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。