論文の概要: Stereo Hand-Object Reconstruction for Human-to-Robot Handover

• arxiv url: http://arxiv.org/abs/2412.07487v1
• Date: Tue, 10 Dec 2024 13:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:35:59.557573
• Title: Stereo Hand-Object Reconstruction for Human-to-Robot Handover
• Title（参考訳）: ロボットハンドオーバのためのステレオハンドオブジェクト再構成
• Authors: Yik Lung Pang, Alessio Xompero, Changjae Oh, Andrea Cavallaro,
• Abstract要約: 本研究では,手動物体再構成のためのステレオ手法を提案する。 我々は大規模な手オブジェクトデータセットから3次元形状を学習する。 提案手法は,既存のRGBを用いた手動物体再構成法と比較して,より低対象のチャンファー距離を実現する。
• 参考スコア（独自算出の注目度）: 32.715038502710954
• License:
• Abstract: Jointly estimating hand and object shape ensures the success of the robot grasp in human-to-robot handovers. However, relying on hand-crafted prior knowledge about the geometric structure of the object fails when generalising to unseen objects, and depth sensors fail to detect transparent objects such as drinking glasses. In this work, we propose a stereo-based method for hand-object reconstruction that combines single-view reconstructions probabilistically to form a coherent stereo reconstruction. We learn 3D shape priors from a large synthetic hand-object dataset to ensure that our method is generalisable, and use RGB inputs instead of depth as RGB can better capture transparent objects. We show that our method achieves a lower object Chamfer distance compared to existing RGB based hand-object reconstruction methods on single view and stereo settings. We process the reconstructed hand-object shape with a projection-based outlier removal step and use the output to guide a human-to-robot handover pipeline with wide-baseline stereo RGB cameras. Our hand-object reconstruction enables a robot to successfully receive a diverse range of household objects from the human.
• Abstract（参考訳）: 手と物体の形状を共同で推定することで、ロボットが人間とロボットのハンドオーバを把握できることが保証される。 しかし、物体の幾何学的構造に関する手作りの事前知識は、目に見えない物体に一般化する際に失敗し、深度センサーは飲酒グラスのような透明な物体を検出するのに失敗する。 本研究では,一視点再構成を確率的に組み合わせた立体再構築手法を提案する。 我々は,大規模な手オブジェクトデータセットから3次元形状の先行情報を学習し,この手法が一般化可能であることを確認し,RGBが透明物体をよりよく捉えることができるため,深度の代わりにRGB入力を使用する。 提案手法は,既存のRGBベース手動オブジェクト再構成手法と比較して,単一のビューとステレオ設定でより低いオブジェクト間距離を実現することを示す。 我々は、プロジェクションベースのアウトリア除去ステップで再構成されたハンドオブジェクト形状を処理し、その出力を用いて、広範囲のステレオRGBカメラで人間とロボットのハンドオーバパイプラインを誘導する。 我々の手動物体再構成により、ロボットは人間から様々な種類の家庭用物体を受信することができる。

関連論文リスト

• PickScan: Object discovery and reconstruction from handheld interactions [99.99566882133179]
  シーンの3次元表現を再構成する対話誘導型クラス依存型手法を開発した。 我々の主な貢献は、操作対象のインタラクションを検出し、操作対象のマスクを抽出する新しいアプローチである。 相互作用ベースとクラス非依存のベースラインであるCo-Fusionと比較すると、これはシャムファー距離の73%の減少に相当する。
  論文  参考訳（メタデータ） (2024-11-17T23:09:08Z)
• Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover [5.329513275750882]
  本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を生成できるHADR法を提案する。 提案手法は手動姿勢を重要なガイダンスとして利用し,手動物体間相互作用の意味的および幾何学的情報を活用する。 さらに,HADRに基づく実世界の人間ロボットハンドオーバシステムを開発し,人間ロボットインタラクションへの応用の可能性を示す。
  論文  参考訳（メタデータ） (2024-08-27T12:25:12Z)
• Reconstructing Hand-Held Objects in 3D from Images and Videos [53.277402172488735]
  モノクローナルなRGB映像が与えられると、時間とともに手持ちの物体の幾何学を3Dで再構築することを目指している。 1枚のRGB画像から手と物体の形状を共同で再構成するMCC-Hand-Object(MCC-HO)を提案する。 次に、GPT-4(V)を用いてテキストから3D生成モデルを作成し、画像中のオブジェクトにマッチする3Dオブジェクトモデルを検索する。
  論文  参考訳（メタデータ） (2024-04-09T17:55:41Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• ShapeGraFormer: GraFormer-Based Network for Hand-Object Reconstruction from a Single Depth Map [11.874184782686532]
  そこで本研究では, 現実的な3次元物体形状に対する最初のアプローチを提案し, 一つの深度マップから復元する。 我々のパイプラインは、入力されたボキセル化深度に1対1のマッピングを持つ、ボキセル化ハンドオブジェクト形状も予測する。 さらに、手動オブジェクトの相互作用に基づいて再構成された形状を洗練する別のGraFormerコンポーネントを追加する影響を示す。
  論文  参考訳（メタデータ） (2023-10-18T09:05:57Z)
• HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image [41.580285338167315]
  本稿では,1枚のRGB画像から3次元手オブジェクトシーンを再構成する前に,手オブジェクト間のインタラクションを学習する方法を提案する。 我々は手形状を用いて手と物体形状の相対的な構成を制約する。 そこで,HandNeRFは,手動による新たなグリップ構成のシーンを,同等の手法よりも高精度に再構築可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:42:08Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。