論文の概要: Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes
- arxiv url: http://arxiv.org/abs/2508.09855v1
- Date: Wed, 13 Aug 2025 14:47:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-14 20:42:00.934185
- Title: Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes
- Title（参考訳）: 人間とロボットのコラボレーションに向けて:3Dシーンからハンドオーバ行動を学ぶ
- Authors: Yuekun Wu, Yik Lung Pang, Andrea Cavallaro, Changjae Oh,
- Abstract要約: 本稿では,RGB画像のみから,人間とロボットのハンドオーバに着目したHRTポリシーのトレーニング手法を提案する。
ロボットグリップに装着したカメラでキャプチャした画像アクション対を含むロボットデモを生成する。
これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
- 参考スコア（独自算出の注目度）: 28.930178662944446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human-robot teaming (HRT) systems often rely on large-scale datasets of human and robot interactions, especially for close-proximity collaboration tasks such as human-robot handovers. Learning robot manipulation policies from raw, real-world image data requires a large number of robot-action trials in the physical environment. Although simulation training offers a cost-effective alternative, the visual domain gap between simulation and robot workspace remains a major limitation. We introduce a method for training HRT policies, focusing on human-to-robot handovers, solely from RGB images without the need for real-robot training or real-robot data collection. The goal is to enable the robot to reliably receive objects from a human with stable grasping while avoiding collisions with the human hand. The proposed policy learner leverages sparse-view Gaussian Splatting reconstruction of human-to-robot handover scenes to generate robot demonstrations containing image-action pairs captured with a camera mounted on the robot gripper. As a result, the simulated camera pose changes in the reconstructed scene can be directly translated into gripper pose changes. Experiments in both Gaussian Splatting reconstructed scene and real-world human-to-robot handover experiments demonstrate that our method serves as a new and effective representation for the human-to-robot handover task, contributing to more seamless and robust HRT.
- Abstract（参考訳）: HRT(Human-robot Teaming)システムは、人間とロボットの相互作用の大規模なデータセット、特に人間とロボットのハンドオーバのような近親密なコラボレーションタスクに依存していることが多い。
実世界の画像データからロボットの操作ポリシーを学習するには、物理環境における多数のロボットの動作試験が必要である。
シミュレーショントレーニングは費用対効果があるが、シミュレーションとロボットワークスペースの間の視覚領域のギャップは依然として大きな限界である。
本稿では,実ロボット訓練や実ロボットデータ収集を必要とせず,RGB画像のみを対象とするHRTポリシーのトレーニング手法を提案する。
目標は、人間の手との衝突を回避しつつ、安定してつかみながら、人間から確実に物体を受信できるようにすることである。
提案したポリシー学習者は、人間とロボットのハンドオーバシーンのスパースビュー・ガウス・スプレイティング再構成を利用して、ロボットグリップに装着されたカメラでキャプチャされた画像アクション対を含むロボットデモを生成する。
これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
提案手法は,人間とロボットのハンドオーバ作業において,よりシームレスで堅牢なHRTに寄与することを示す。
関連論文リスト
- Learning human-to-robot handovers through 3D scene reconstruction [28.930178662944446]
本稿では,RGB画像のみから教師付きロボットハンドオーバを学習する手法を提案する。
ロボットグリップに装着したカメラでキャプチャした画像アクション対を含むロボットデモを生成する。
これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
論文 参考訳（メタデータ） (2025-07-11T16:26:31Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳（メタデータ） (2025-03-10T10:04:58Z) - Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。
従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。
本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-08T13:12:50Z) - ImitationNet: Unsupervised Human-to-Robot Motion Retargeting via Shared Latent Space [9.806227900768926]
本稿では,ロボットの動きに対する新しいディープラーニング手法を提案する。
本手法では,新しいロボットへの翻訳を容易にする,人間とロボットのペアデータを必要としない。
我々のモデルは、効率と精度の観点から、人間とロボットの類似性に関する既存の研究よりも優れています。
論文 参考訳（メタデータ） (2023-09-11T08:55:04Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳（メタデータ） (2023-07-12T07:04:53Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-08T15:56:13Z) - Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。
学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文 参考訳（メタデータ） (2022-11-16T16:26:48Z) - Where is my hand? Deep hand segmentation for visual self-recognition in
humanoid robots [129.46920552019247]
本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。
ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
論文 参考訳（メタデータ） (2021-02-09T10:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。