Fugu-MT 論文翻訳(概要): Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover

論文の概要: Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover

arxiv url: http://arxiv.org/abs/2408.14997v1
Date: Tue, 27 Aug 2024 12:25:12 GMT
ステータス: 処理完了
システム内更新日: 2024-08-28 14:03:31.936802
Title: Depth Restoration of Hand-Held Transparent Objects for Human-to-Robot Handover
Title（参考訳）: ロボットハンドオーバのためのハンドヘルド透明物体の深さ復元
Authors: Ran Yu, Haixin Yu, Huang Yan, Ziwu Song, Shoujie Li, Wenbo Ding,
Abstract要約: 本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を作成することにより,手持ち透明物体に対する手持ち深度復元法を提案する。提案手法では,手の位置を意味情報や幾何学的情報を活用するための重要なガイダンスとして紹介する。さらに,提案手法に基づく実世界の人間ロボットハンドオーバシステムを開発し,その人間ロボットインタラクションへの応用価値を実証する。
参考スコア（独自算出の注目度）: 5.329513275750882
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transparent objects are common in daily life, while their unique optical properties pose challenges for RGB-D cameras, which struggle to capture accurate depth information. For assistant robots, accurately perceiving transparent objects held by humans is essential for effective human-robot interaction. This paper presents a Hand-Aware Depth Restoration (HADR) method for hand-held transparent objects based on creating an implicit neural representation function from a single RGB-D image. The proposed method introduces the hand posture as an important guidance to leverage semantic and geometric information. To train and evaluate the proposed method, we create a high-fidelity synthetic dataset called TransHand-14K with a real-to-sim data generation scheme. Experiments show that our method has a better performance and generalization ability compared with existing methods. We further develop a real-world human-to-robot handover system based on the proposed depth restoration method, demonstrating its application value in human-robot interaction.
Abstract（参考訳）: 透明な物体は日常生活で一般的であるが、そのユニークな光学特性はRGB-Dカメラに課題をもたらし、正確な深度情報を捉えるのに苦労する。アシスタントロボットにとって、人間が保持する透明な物体を正確に知覚することは、効果的な人間とロボットの相互作用に不可欠である。本稿では,1枚のRGB-D画像から暗黙的ニューラル表現関数を作成することにより,手持ち透明物体に対する手持ち深度復元法を提案する。提案手法では,手の位置を意味情報や幾何学的情報を活用するための重要なガイダンスとして紹介する。提案手法を訓練し,評価するために,実数値データ生成方式を用いたTransHand-14Kと呼ばれる高忠実な合成データセットを作成する。実験の結果,本手法は既存手法と比較して性能と一般化性が高いことがわかった。さらに,提案手法に基づく実世界の人間ロボットハンドオーバシステムを開発し,その人間ロボットインタラクションへの応用価値を実証する。

関連論文リスト

ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文参考訳（メタデータ） (2024-09-13T15:44:38Z)
3D Hand Mesh Recovery from Monocular RGB in Camera Space [3.0453197258042213]
本研究では,ルート相対格子とルート回復タスクの並列処理を行うネットワークモデルを提案する。暗黙的な学習手法を2次元ヒートマップに適用し、異なるサブタスク間の2次元キューの互換性を向上させる。提案モデルは最先端のモデルに匹敵する。
論文参考訳（メタデータ） (2024-05-12T05:36:37Z)
Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文参考訳（メタデータ） (2024-03-25T05:12:21Z)
A Universal Semantic-Geometric Representation for Robotic Manipulation [42.18087956844491]
本稿では,ロボット工学の汎用認識モジュールであるtextbfSemantic-Geometric Representation (textbfSGR) について述べる。 SGRは、大規模事前訓練された2次元モデルのリッチな意味情報を活用し、3次元空間推論の利点を継承する。我々の実験は、SGRがエージェントに様々なシミュレーションおよび実世界のロボット操作タスクを完了させることを実証した。
論文参考訳（メタデータ） (2023-06-18T04:34:17Z)
Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation [4.7246285569677315]
我々はSim-to-Real Dense Object Nets(SRDONs)という,オブジェクトを適切な表現で理解するだけでなく,シミュレートされた実データをピクセル整合性を持った統一された特徴空間にマップする,高密度オブジェクト記述子を提案する。本研究では,事前学習したSRDONが実世界の訓練をゼロにした各種ロボット作業において,見えない物体や見えない視覚環境の性能を著しく向上させる実験を行った。
論文参考訳（メタデータ） (2023-04-18T02:28:55Z)
DemoGrasp: Few-Shot Learning for Robotic Grasping with Human Demonstration [42.19014385637538]
本稿では,ロボットに対して,単純で短い人間の実演で物体をつかむ方法を教えることを提案する。まず、人間と物体の相互作用を示すRGB-D画像の小さなシーケンスを提示する。このシーケンスを使用して、インタラクションを表す手とオブジェクトメッシュを構築する。
論文参考訳（メタデータ） (2021-12-06T08:17:12Z)
Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
論文参考訳（メタデータ） (2021-08-16T12:26:34Z)
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
論文参考訳（メタデータ） (2021-06-22T12:53:56Z)
Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文参考訳（メタデータ） (2021-02-09T10:34:32Z)
Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文参考訳（メタデータ） (2020-06-28T09:50:25Z)
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。