Fugu-MT 論文翻訳(概要): Learning human-to-robot handovers through 3D scene reconstruction

論文の概要: Learning human-to-robot handovers through 3D scene reconstruction

arxiv url: http://arxiv.org/abs/2507.08726v1
Date: Fri, 11 Jul 2025 16:26:31 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-14 18:03:54.427879
Title: Learning human-to-robot handovers through 3D scene reconstruction
Title（参考訳）: 3Dシーン再構築による人間とロボットのハンドオーバ学習
Authors: Yuekun Wu, Yik Lung Pang, Andrea Cavallaro, Changjae Oh,
Abstract要約: 本稿では,RGB画像のみから教師付きロボットハンドオーバを学習する手法を提案する。ロボットグリップに装着したカメラでキャプチャした画像アクション対を含むロボットデモを生成する。これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
参考スコア（独自算出の注目度）: 28.930178662944446
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learning robot manipulation policies from raw, real-world image data requires a large number of robot-action trials in the physical environment. Although training using simulations offers a cost-effective alternative, the visual domain gap between simulation and robot workspace remains a major limitation. Gaussian Splatting visual reconstruction methods have recently provided new directions for robot manipulation by generating realistic environments. In this paper, we propose the first method for learning supervised-based robot handovers solely from RGB images without the need of real-robot training or real-robot data collection. The proposed policy learner, Human-to-Robot Handover using Sparse-View Gaussian Splatting (H2RH-SGS), leverages sparse-view Gaussian Splatting reconstruction of human-to-robot handover scenes to generate robot demonstrations containing image-action pairs captured with a camera mounted on the robot gripper. As a result, the simulated camera pose changes in the reconstructed scene can be directly translated into gripper pose changes. We train a robot policy on demonstrations collected with 16 household objects and {\em directly} deploy this policy in the real environment. Experiments in both Gaussian Splatting reconstructed scene and real-world human-to-robot handover experiments demonstrate that H2RH-SGS serves as a new and effective representation for the human-to-robot handover task.
Abstract（参考訳）: 実世界の画像データからロボットの操作ポリシーを学習するには、物理環境における多数のロボットの動作試験が必要である。シミュレーションを用いたトレーニングは費用対効果があるが、シミュレーションとロボットワークスペースの間の視覚領域のギャップは依然として大きな限界である。ガウスの視覚再構成手法は, 現実的な環境を生成することで, ロボット操作に新たな方向を与えている。本稿では,実ロボット訓練や実ロボットデータ収集を必要とせずに,RGB画像のみから教師付きロボットハンドオーバを学習する手法を提案する。 Sparse-View Gaussian Splatting (H2RH-SGS) を用いたHuman-to-Robotハンドオーバ(Human-to-Robot Handover)を提案する。これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。我々は16の家庭オブジェクトで収集されたデモに対してロボットポリシーを訓練し、このポリシーを直接実環境に展開する。 H2RH-SGSは,H2RH-SGSがヒト-ロボットハンドオーバタスクの新たな,効果的な表現として機能することを示す。

関連論文リスト

DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy [33.18108154271181]
ロボットが自然環境下で操作タスクを実行できるシンプルでスケーラブルな方法であるDemoDiffusionを提案する。まず、人間の実演における手の動きは、ロボットのエンドエフェクター軌道に有用な事前情報を提供する。第二に、この再ターゲティングされた動きはタスクの全体構造をキャプチャするが、コンテキスト内でのもっともらしいロボットの動作とうまく一致しないかもしれない。
論文参考訳（メタデータ） (2025-06-25T17:59:01Z)
DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
論文参考訳（メタデータ） (2025-05-19T04:55:39Z)
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文参考訳（メタデータ） (2025-03-10T10:04:58Z)
CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-09-16T16:22:43Z)
Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
論文参考訳（メタデータ） (2024-02-08T13:12:50Z)
Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文参考訳（メタデータ） (2023-07-12T07:04:53Z)
Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
論文参考訳（メタデータ） (2023-05-10T16:25:42Z)
Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。我々の枠組みは、人間の手の動きを予測することに基づいている。トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文参考訳（メタデータ） (2023-02-03T21:39:52Z)
Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
論文参考訳（メタデータ） (2022-11-16T16:26:48Z)
REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer [57.045140028275036]
本研究では,運動学や形態学など,異なるパラメータを持つ2つの異なるロボット間でポリシーを伝達する問題を考察する。模倣学習手法を含む動作や状態遷移の分布を一致させることで、新しいポリシーを訓練する既存のアプローチは、最適な動作や/または状態分布が異なるロボットでミスマッチしているために失敗する。本稿では,物理シミュレータに実装されたロボット政策伝達に連続的進化モデルを用いることで,$RevolveR$という新しい手法を提案する。
論文参考訳（メタデータ） (2022-02-10T18:50:25Z)
Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
論文参考訳（メタデータ） (2021-05-26T00:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。