論文の概要: Object pop-up: Can we infer 3D objects and their poses from human interactions alone?

• arxiv url: http://arxiv.org/abs/2306.00777v1
• Date: Thu, 1 Jun 2023 15:08:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 15:27:58.735204
• Title: Object pop-up: Can we infer 3D objects and their poses from human interactions alone?
• Title（参考訳）: オブジェクトポップアップ:人間のインタラクションだけで3Dオブジェクトとそのポーズを推測できますか?
• Authors: Ilya A. Petrov, Riccardo Marin, Julian Chibane, Gerard Pons-Moll
• Abstract要約: ユーザが機能を模倣しているだけであっても、一般的な3Dヒューマンポイントクラウドは、観測されていないオブジェクトをポップアップさせるのに十分であることを示す。 提案手法の質的,定量的な検証を行い,XR/VRへの適用性を示した。
• 参考スコア（独自算出の注目度）: 44.69568854965394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The intimate entanglement between objects affordances and human poses is of large interest, among others, for behavioural sciences, cognitive psychology, and Computer Vision communities. In recent years, the latter has developed several object-centric approaches: starting from items, learning pipelines synthesizing human poses and dynamics in a realistic way, satisfying both geometrical and functional expectations. However, the inverse perspective is significantly less explored: Can we infer 3D objects and their poses from human interactions alone? Our investigation follows this direction, showing that a generic 3D human point cloud is enough to pop up an unobserved object, even when the user is just imitating a functionality (e.g., looking through a binocular) without involving a tangible counterpart. We validate our method qualitatively and quantitatively, with synthetic data and sequences acquired for the task, showing applicability for XR/VR. The code is available at https://github.com/ptrvilya/object-popup.
• Abstract（参考訳）: 物体と人間のポーズの間の密接な絡み合いは、行動科学、認知心理学、コンピュータビジョンのコミュニティにとって、特に大きな関心事である。 近年では、アイテムから学び、人間のポーズとダイナミクスを現実的な方法で合成し、幾何学的および機能的期待の両方を満たす、オブジェクト中心のアプローチが開発されている。 しかし、逆の視点は明らかに研究されていない。3Dオブジェクトとそのポーズを人間の相互作用だけで推測できるのか? 私たちの調査では、一般的な3dヒューマンポイントクラウドは、ユーザーが機能(例えば双眼鏡を通して見る)を模倣しているだけでは、目立たないオブジェクトをポップアップするのに十分であることが示されています。 本手法は,xr/vrに適用可能な合成データとシーケンスを用いて,定性的かつ定量的に検証する。 コードはhttps://github.com/ptrvilya/object-popupで入手できる。

関連論文リスト

• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation [57.60490773016364]
  マルチフィンガーハンドの視覚と触覚を組み合わせることで,手動操作時の物体の姿勢と形状を推定する。 提案手法であるNeuralFeelsは,ニューラルネットワークをオンラインで学習することでオブジェクトの形状を符号化し,ポーズグラフ問題を最適化して共同で追跡する。 私たちの結果は、タッチが少なくとも、洗練され、そして最も最良のものは、手動操作中に視覚的推定を曖昧にすることを示しています。
  論文  参考訳（メタデータ） (2023-12-20T22:36:37Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors [42.17542596399014]
  本稿では,画像から人-物間相互作用の多種多様な3次元モデルを推定する手法を提案する。 提案手法は,大規模言語モデルから高レベルのコモンセンス知識を抽出する。 本研究では,大規模な人-物間相互作用データセットを用いて,推定された3次元モデルを定量的に評価する。
  論文  参考訳（メタデータ） (2022-09-06T13:32:55Z)
• BEHAVE: Dataset and Method for Tracking Human Object Interactions [105.77368488612704]
  マルチビューのRGBDフレームとそれに対応する3D SMPLとオブジェクトをアノテートしたアノテートコンタクトに適合させる。 このデータを用いて、自然環境における人間と物体を、容易に使用可能なマルチカメラで共同で追跡できるモデルを学ぶ。
  論文  参考訳（メタデータ） (2022-04-14T13:21:19Z)
• CHORE: Contact, Human and Object REconstruction from a single RGB image [40.817960406002506]
  CHOREは、1枚のRGB画像から人間と物体を共同で再構築する方法である。 2つの符号のない距離場で暗黙的に表現された人間と物体の神経再構成を計算する。 提案手法で得られた共同再建がSOTAを著しく上回ることを示す実験を行った。
  論文  参考訳（メタデータ） (2022-04-05T18:38:06Z)
• Pose2Room: Understanding 3D Scenes from Human Activities [35.702234343672565]
  ウェアラブルIMUセンサーを使えば、視覚的な入力を必要とせずに、ウェアラブルデバイスから人間のポーズを推定することができる。 P2R-Netは人体の動きの多モード分布を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2021-12-01T20:54:36Z)
• Perceiving 3D Human-Object Spatial Arrangements from a Single Image in the Wild [96.08358373137438]
  本研究では,世界規模で一貫した3Dシーンにおいて,人間や物体の空間的配置や形状を推定する手法を提案する。 本手法は,シーンレベルやオブジェクトレベルの3D監視を必要とせず,データセット上で動作させる。
  論文  参考訳（メタデータ） (2020-07-30T17:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。