論文の概要: Learning human-to-robot handovers through 3D scene reconstruction

• arxiv url: http://arxiv.org/abs/2507.08726v1
• Date: Fri, 11 Jul 2025 16:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.427879
• Title: Learning human-to-robot handovers through 3D scene reconstruction
• Title（参考訳）: 3Dシーン再構築による人間とロボットのハンドオーバ学習
• Abstract要約: 本稿では,RGB画像のみから教師付きロボットハンドオーバを学習する手法を提案する。 ロボットグリップに装着したカメラでキャプチャした画像アクション対を含むロボットデモを生成する。 これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
• 参考スコア（独自算出の注目度）: 28.930178662944446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning robot manipulation policies from raw, real-world image data requires a large number of robot-action trials in the physical environment. Although training using simulations offers a cost-effective alternative, the visual domain gap between simulation and robot workspace remains a major limitation. Gaussian Splatting visual reconstruction methods have recently provided new directions for robot manipulation by generating realistic environments. In this paper, we propose the first method for learning supervised-based robot handovers solely from RGB images without the need of real-robot training or real-robot data collection. The proposed policy learner, Human-to-Robot Handover using Sparse-View Gaussian Splatting (H2RH-SGS), leverages sparse-view Gaussian Splatting reconstruction of human-to-robot handover scenes to generate robot demonstrations containing image-action pairs captured with a camera mounted on the robot gripper. As a result, the simulated camera pose changes in the reconstructed scene can be directly translated into gripper pose changes. We train a robot policy on demonstrations collected with 16 household objects and {\em directly} deploy this policy in the real environment. Experiments in both Gaussian Splatting reconstructed scene and real-world human-to-robot handover experiments demonstrate that H2RH-SGS serves as a new and effective representation for the human-to-robot handover task.
• Abstract（参考訳）: 実世界の画像データからロボットの操作ポリシーを学習するには、物理環境における多数のロボットの動作試験が必要である。 シミュレーションを用いたトレーニングは費用対効果があるが、シミュレーションとロボットワークスペースの間の視覚領域のギャップは依然として大きな限界である。 ガウスの視覚再構成手法は, 現実的な環境を生成することで, ロボット操作に新たな方向を与えている。 本稿では,実ロボット訓練や実ロボットデータ収集を必要とせずに,RGB画像のみから教師付きロボットハンドオーバを学習する手法を提案する。 Sparse-View Gaussian Splatting (H2RH-SGS) を用いたHuman-to-Robotハンドオーバ(Human-to-Robot Handover)を提案する。 これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。 我々は16の家庭オブジェクトで収集されたデモに対してロボットポリシーを訓練し、このポリシーを直接実環境に展開する。 H2RH-SGSは,H2RH-SGSがヒト-ロボットハンドオーバタスクの新たな,効果的な表現として機能することを示す。

関連論文リスト

• RGB-D Video Generation for Improving Human-to-Robot Object Handover Prediction [51.76737991200891]
  H2R(Human-to-robot)オブジェクトハンドオーバは、人間とロボットのコラボレーションの基本的な能力である。 本稿では,RGB-DビデオデータセットであるHand2Botを紹介する。 ハンドオブジェクトの一貫性を確保しつつ,現実的なハンドオーバシーケンスを合成する生成パイプラインであるPassGenを提案する。
  論文  参考訳（メタデータ） (2026-08-13T09:55:59Z)
• Robot-Factored World Models via Robot Rendering [25.12876640584098]
  アクション条件付きビデオワールドモデルは、初期観測と行動信号から将来の観測を予測する。 本研究では,ロボット特異的な2つの要素を世界モデル外へ移動させるロボット駆動世界モデルを提案する。 実験により, レンダリングインタフェースはベクトル条件付きベースラインより優れており, 未知のロボットエンボディメント推論に一般化されていることがわかった。
  論文  参考訳（メタデータ） (2026-07-24T17:59:57Z)
• DataLadder: A Simulation-Enabled Interconversion Toolchain for the Embodied Data Pyramid [63.45560198934907]
  ジェネラリストロボットポリシーは、信頼できる評価とロボット使用可能なトレーニングデータを必要とする。 本稿では,人間ロボットによるモデル評価とデータ生成のためのシミュレーション可能な変換ツールチェーンであるDataLadderを提案する。 JD Cloud上のクラウドサービスとして、コア再構築、シミュレーション、レンダリング、リアリズム拡張モジュールをパッケージ化します。
  論文  参考訳（メタデータ） (2026-06-15T14:21:35Z)
• EasyMimic: A Low-Cost Framework for Robot Imitation Learning from Human Videos [51.158081196253626]
  EasyMimicは、人間のビデオデモからロボットが操作ポリシーを学習することを可能にするフレームワークである。 本手法は,まずビデオから手指の3次元軌跡を抽出する。 アクションアライメントモジュールは、これらの軌道を低コストロボットのグリップ制御空間にマッピングする。
  論文  参考訳（メタデータ） (2026-02-12T00:41:01Z)
• RoboPaint: From Human Demonstration to Any Robot and Any View [9.083647729839688]
  本研究では,人間による実演をロボットが実行可能な環境特化学習データに変換するためのリアルタイムデータ収集とデータ編集パイプラインを提案する。 そこで本研究では,10種類のオブジェクト操作タスクに対して,デキスハンドトラジェクトリの再ターゲットが84%の成功率を達成することを示す。 複雑なデクサラス操作のために,パフォーマンス損失を最小限に抑えた,スケーラブルで費用対効果の高い遠隔操作の代替手段を提供する。
  論文  参考訳（メタデータ） (2026-02-05T05:45:12Z)
• H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos [58.006918399913665]
  本稿では,通常の人間と物体のインタラクションビデオからモーション一貫性のあるロボット操作ビデオに変換するビデオ間翻訳フレームワークを提案する。 私たちのアプローチでは、ロボットビデオのセットのみをトレーニングするために、ペアの人間ロボットビデオは必要とせず、システムを拡張しやすくしています。 テスト時にも同じプロセスを人間のビデオに適用し、人間の行動を模倣する高品質なロボットビデオを生成する。
  論文  参考訳（メタデータ） (2025-12-10T07:59:45Z)
• RobotSeg: A Model and Dataset for Segmenting Robots in Image and Video [56.9581053843815]
  画像とビデオにおけるロボットセグメンテーションの基礎モデルであるRobotSegを紹介する。 ロボットへの適応の欠如、手動のプロンプトへの依存、フレーム単位のトレーニングマスクアノテーションの必要性に対処する。 それは、画像とビデオの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-11-28T07:51:02Z)
• Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations [52.29884993824894]
  自然環境で日々のタスクを行う人間から、マルチフィンガーロボットポリシーを学ぶことは、ロボットコミュニティにとって長年の大きな目標だった。 AINAは、Aria Gen 2メガネを使用して、どこでも、どこでも、あらゆる環境で収集されたデータから、マルチフィンガーポリシーを学ぶことができる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:02Z)
• GSWorld: Closed-Loop Photo-Realistic Simulation Suite for Robotic Manipulation [18.684526752120412]
  GSWorldは、3Dガウススプラッティングと物理エンジンを組み合わせたロボット操作のための写真リアルシミュレータだ。 本フレームワークは,実ロボットデータから得られたポリシーを再現可能な評価で評価する操作ポリシーの「ループを閉じる」ことを提唱する。
  論文  参考訳（メタデータ） (2025-10-23T17:59:26Z)
• Robot Learning from Any Images [33.8787444407442]
  このフレームワークは、任意のWildイメージを対話型で物理対応のロボット環境に変換するものだ。 従来の方法とは異なり、RoLAは追加のハードウェアやデジタルアセットを必要とせずに、単一のイメージ上で直接動作する。 我々は、スケーラブルなロボットデータ生成と拡張、インターネットイメージからのロボット学習、マニピュレータとヒューマノイドのためのシングルイメージのリアルタイムシステムなど、RoLAの汎用性を実証する。
  論文  参考訳（メタデータ） (2025-09-26T22:10:34Z)
• Toward Human-Robot Teaming: Learning Handover Behaviors from 3D Scenes [28.930178662944446]
  本稿では,RGB画像のみから,人間とロボットのハンドオーバに着目したHRTポリシーのトレーニング手法を提案する。 ロボットグリップに装着したカメラでキャプチャした画像アクション対を含むロボットデモを生成する。 これにより、再構成シーンにおけるシミュレートされたカメラポーズ変更を直接グリップポーズ変更に変換することができる。
  論文  参考訳（メタデータ） (2025-08-13T14:47:31Z)
• DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy [33.18108154271181]
  ロボットが自然環境下で操作タスクを実行できるシンプルでスケーラブルな方法であるDemoDiffusionを提案する。 まず、人間の実演における手の動きは、ロボットのエンドエフェクター軌道に有用な事前情報を提供する。 第二に、この再ターゲティングされた動きはタスクの全体構造をキャプチャするが、コンテキスト内でのもっともらしいロボットの動作とうまく一致しないかもしれない。
  論文  参考訳（メタデータ） (2025-06-25T17:59:01Z)
• DreamGen: Unlocking Generalization in Robot Learning through Video World Models [120.25799361925387]
  DreamGenは、ニューラルトラジェクトリを通じて行動や環境を一般化するロボットポリシーをトレーニングするためのパイプラインだ。 私たちの研究は、手作業によるデータ収集を超えて、ロボット学習をスケールするための、有望な新たな軸を確立します。
  論文  参考訳（メタデータ） (2025-05-19T04:55:39Z)
• VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
  VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
  論文  参考訳（メタデータ） (2025-03-10T10:04:58Z)
• CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera [18.971816395021488]
  マーカーレスポーズ推定手法は、カメラとロボットのキャリブレーションに時間を要する物理的な設定を不要にしている。 部分的に見えるロボットマニピュレータでロボットのポーズを推定できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-16T16:22:43Z)
• Real-time Holistic Robot Pose Estimation with Unknown States [30.41806081818826]
  RGB画像からロボットのポーズを推定することは、コンピュータビジョンとロボット工学において重要な問題である。 従来の手法では、例えば接地型ロボットの関節角など、ロボットの内部状態の完全な知識が想定されていた。 本研究は,RGB画像からリアルタイムロボットのポーズ推定を行う上で,既知のロボットの状態を必要としない効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-08T13:12:50Z)
• Giving Robots a Hand: Learning Generalizable Manipulation with Eye-in-Hand Human Video Demonstrations [66.47064743686953]
  眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。 一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。 本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
  論文  参考訳（メタデータ） (2023-07-12T07:04:53Z)
• Learning Video-Conditioned Policies for Unseen Manipulation Tasks [83.2240629060453]
  ビデオ条件付きポリシー学習は、以前は目に見えないタスクの人間のデモをロボット操作スキルにマッピングする。 我々は,現在のシーン観察と対象課題のビデオから適切なアクションを生成するためのポリシーを学習する。 われわれは,多タスクロボット操作環境の課題と,技術面における性能の面から,そのアプローチを検証した。
  論文  参考訳（メタデータ） (2023-05-10T16:25:42Z)
• Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
  我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。 我々の枠組みは、人間の手の動きを予測することに基づいている。 トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
  論文  参考訳（メタデータ） (2023-02-03T21:39:52Z)
• Learning Reward Functions for Robotic Manipulation by Observing Humans [92.30657414416527]
  我々は、ロボット操作ポリシーのタスク非依存報酬関数を学習するために、幅広い操作タスクを解く人間のラベル付きビデオを使用する。 学習された報酬は、タイムコントラストの目的を用いて学習した埋め込み空間におけるゴールまでの距離に基づいている。
  論文  参考訳（メタデータ） (2022-11-16T16:26:48Z)
• REvolveR: Continuous Evolutionary Models for Robot-to-robot Policy Transfer [57.045140028275036]
  本研究では,運動学や形態学など,異なるパラメータを持つ2つの異なるロボット間でポリシーを伝達する問題を考察する。 模倣学習手法を含む動作や状態遷移の分布を一致させることで、新しいポリシーを訓練する既存のアプローチは、最適な動作や/または状態分布が異なるロボットでミスマッチしているために失敗する。 本稿では,物理シミュレータに実装されたロボット政策伝達に連続的進化モデルを用いることで,$RevolveR$という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-02-10T18:50:25Z)
• Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
  本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。 本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。 本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
  論文  参考訳（メタデータ） (2021-05-26T00:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。