論文の概要: RHOBIN Challenge: Reconstruction of Human Object Interaction

• arxiv url: http://arxiv.org/abs/2401.04143v1
• Date: Sun, 7 Jan 2024 23:37:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 18:46:20.628452
• Title: RHOBIN Challenge: Reconstruction of Human Object Interaction
• Title（参考訳）: rhobin challenge: ヒューマンオブジェクトインタラクションの再構築
• Authors: Xianghui Xie and Xi Wang and Nikos Athanasiou and Bharat Lal Bhatnagar and Chun-Hao P. Huang and Kaichun Mo and Hao Chen and Xia Jia and Zerui Zhang and Liangxian Cui and Xiao Lin and Bingqiao Qian and Jie Xiao and Wenfei Yang and Hyeongjin Nam and Daniel Sungho Jung and Kihoon Kim and Kyoung Mu Lee and Otmar Hilliges and Gerard Pons-Moll
• Abstract要約: 最初のRHOBINチャレンジ:RHOBINワークショップと連携して人間と物体の相互作用を再構築する。 我々の課題は、単眼のRGB画像から3D再構成する3つのトラックで構成され、困難な相互作用シナリオに対処することに焦点を当てている。 本稿では,課題の設定について述べるとともに,各トラックの入賞方法についてより詳細に述べる。
• 参考スコア（独自算出の注目度）: 83.07185402102253
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modeling the interaction between humans and objects has been an emerging research direction in recent years. Capturing human-object interaction is however a very challenging task due to heavy occlusion and complex dynamics, which requires understanding not only 3D human pose, and object pose but also the interaction between them. Reconstruction of 3D humans and objects has been two separate research fields in computer vision for a long time. We hence proposed the first RHOBIN challenge: reconstruction of human-object interactions in conjunction with the RHOBIN workshop. It was aimed at bringing the research communities of human and object reconstruction as well as interaction modeling together to discuss techniques and exchange ideas. Our challenge consists of three tracks of 3D reconstruction from monocular RGB images with a focus on dealing with challenging interaction scenarios. Our challenge attracted more than 100 participants with more than 300 submissions, indicating the broad interest in the research communities. This paper describes the settings of our challenge and discusses the winning methods of each track in more detail. We observe that the human reconstruction task is becoming mature even under heavy occlusion settings while object pose estimation and joint reconstruction remain challenging tasks. With the growing interest in interaction modeling, we hope this report can provide useful insights and foster future research in this direction. Our workshop website can be found at \href{https://rhobin-challenge.github.io/}{https://rhobin-challenge.github.io/}.
• Abstract（参考訳）: 人間と物体の相互作用のモデル化は近年、新たな研究の方向性となっている。 しかし、人間と物体の相互作用を捉えることは、重い閉塞と複雑なダイナミクスのために非常に難しい作業であり、3次元の人間のポーズだけでなく、物体のポーズも理解する必要がある。 3d人間と物体の再構築は、コンピュータビジョンにおける2つの異なる研究分野である。 そこで我々は,RHOBINワークショップと連携して,人間と物体の相互作用を再構築する,最初のRHOBINチャレンジを提案した。 人間とオブジェクトのリコンストラクションの研究コミュニティとインタラクションモデリングを一緒に持って、技術について議論し、アイデアを交換することを目的としていた。 課題は,単眼型rgb画像からの3次元再構成の3つのトラックから成り,課題的なインタラクションシナリオへの対処に焦点をあてた。 私たちの挑戦は、300以上の応募を持つ100人以上の参加者を惹きつけ、研究コミュニティの幅広い関心を示している。 本稿では,課題の設定について述べ,各トラックの入賞方法についてより詳細に述べる。 重度咬合状態でもヒトの再建作業は成熟しており, 姿勢推定や関節再建は課題となっている。 相互作用モデリングへの関心が高まりつつあり、このレポートが有用な洞察を与え、今後の研究を促進することを願っている。 ワークショップのwebサイトは、https://rhobin-challenge.github.io/}{https://rhobin-challenge.github.io/}にある。

関連論文リスト

• Generating Human Motion in 3D Scenes from Text Descriptions [60.04976442328767]
  本稿では,人間とシーンのインタラクションをテキストで記述した3次元屋内シーンにおけるヒューマンモーション生成の課題に焦点を当てた。 複雑な問題を2つのより管理可能なサブプロブレムに分解する新しい手法を提案する。 対象オブジェクトの言語グラウンド化には、大きな言語モデルのパワーを活用し、モーション生成には、オブジェクト中心のシーン表現を設計する。
  論文  参考訳（メタデータ） (2024-05-13T14:30:12Z)
• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
  CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。 2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。 提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-04-05T18:38:06Z)
• DemoGrasp: Few-Shot Learning for Robotic Grasping with Human Demonstration [42.19014385637538]
  本稿では,ロボットに対して,単純で短い人間の実演で物体をつかむ方法を教えることを提案する。 まず、人間と物体の相互作用を示すRGB-D画像の小さなシーケンスを提示する。 このシーケンスを使用して、インタラクションを表す手とオブジェクトメッシュを構築する。
  論文  参考訳（メタデータ） (2021-12-06T08:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。