Fugu-MT 論文翻訳(概要): Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover

論文の概要: Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover

arxiv url: http://arxiv.org/abs/2408.14997v2
Date: Mon, 16 Sep 2024 07:05:56 GMT
ステータス: 処理完了
システム内更新日: 2024-09-18 00:47:00.239993
Title: Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover
Title（参考訳）: ロボットハンドオーバのためのハンドヘルド透明物体の深さ復元
Authors: Ran Yu, Haixin Yu, Shoujie Li, Huang Yan, Ziwu Song, Wenbo Ding,
Abstract要約: 本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を生成できるHADR法を提案する。提案手法は手動姿勢を重要なガイダンスとして利用し,手動物体間相互作用の意味的および幾何学的情報を活用する。さらに,HADRに基づく実世界の人間ロボットハンドオーバシステムを開発し,人間ロボットインタラクションへの応用の可能性を示す。
参考スコア（独自算出の注目度）: 5.329513275750882
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transparent objects are common in daily life, while their optical properties pose challenges for RGB-D cameras to capture accurate depth information. This issue is further amplified when these objects are hand-held, as hand occlusions further complicate depth estimation. For assistant robots, however, accurately perceiving hand-held transparent objects is critical to effective human-robot interaction. This paper presents a Hand-Aware Depth Restoration (HADR) method based on creating an implicit neural representation function from a single RGB-D image. The proposed method utilizes hand posture as an important guidance to leverage semantic and geometric information of hand-object interaction. To train and evaluate the proposed method, we create a high-fidelity synthetic dataset named TransHand-14K with a real-to-sim data generation scheme. Experiments show that our method has better performance and generalization ability compared with existing methods. We further develop a real-world human-to-robot handover system based on HADR, demonstrating its potential in human-robot interaction applications.
Abstract（参考訳）: 透明な物体は日常的に一般的であるが、その光学特性はRGB-Dカメラが正確な深度情報を捉えるための課題となる。この問題は、これらのオブジェクトがハンドヘルドされるとさらに増幅される。しかし、アシスタントロボットにとって、ハンドヘルドされた透明な物体を正確に知覚することは、人間とロボットの効果的な相互作用に不可欠である。本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を生成できるHADR法を提案する。提案手法は手動姿勢を重要なガイダンスとして利用し,手動物体間相互作用の意味的および幾何学的情報を活用する。提案手法を訓練し,評価するために,実数値データ生成方式を用いたTransHand-14Kという高忠実な合成データセットを作成する。実験の結果,本手法は既存手法と比較して性能と一般化性が高いことがわかった。さらに,HADRに基づく実世界の人間ロボットハンドオーバシステムを開発し,人間ロボットインタラクションへの応用の可能性を示す。

関連論文リスト

ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文参考訳（メタデータ） (2024-09-13T15:44:38Z)
3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。提案モデルは最先端のモデルに匹敵する。
論文参考訳（メタデータ） (2024-05-12T05:36:37Z)
Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文参考訳（メタデータ） (2024-03-25T05:12:21Z)
A Universal Semantic-Geometric Representation for Robotic Manipulation [42.18087956844491]
本稿では,ロボット工学の汎用認識モジュールであるtextbfSemantic-Geometric Representation (textbfSGR) について述べる。 SGRは、大規模事前訓練された2次元モデルのリッチな意味情報を活用し、3次元空間推論の利点を継承する。我々の実験は、SGRがエージェントに様々なシミュレーションおよび実世界のロボット操作タスクを完了させることを実証した。
論文参考訳（メタデータ） (2023-06-18T04:34:17Z)
Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
論文参考訳（メタデータ） (2023-04-18T02:28:55Z)
DemoGrasp: Few-Shot Learning for Robotic Grasping with Human Demonstration [42.19014385637538]
本稿では,ロボットに対して,単純で短い人間の実演で物体をつかむ方法を教えることを提案する。まず、人間と物体の相互作用を示すRGB-D画像の小さなシーケンスを提示する。このシーケンスを使用して、インタラクションを表す手とオブジェクトメッシュを構築する。
論文参考訳（メタデータ） (2021-12-06T08:17:12Z)
Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文参考訳（メタデータ） (2021-08-16T12:26:34Z)
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文参考訳（メタデータ） (2021-06-22T12:53:56Z)
Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文参考訳（メタデータ） (2021-02-09T10:34:32Z)
Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文参考訳（メタデータ） (2020-06-28T09:50:25Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。