論文の概要: Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
- arxiv url: http://arxiv.org/abs/2606.28133v1
- Date: Fri, 26 Jun 2026 14:34:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.515395
- Title: Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
- Title(参考訳): ブリッジングアクションとしての翻訳:人間からロボットへのマニピュレーションスキルの移譲
- Abstract要約: 我々は,人間の行動から平行グリッパーを持つバイマニュアルロボットまで,新たな操作スキルを習得できるかどうかを考察する。
我々のブリッジングアクションは、ノイズの多い6DoFの人間行動よりもはるかに効果的に人間の操作知識をロボットに伝達する。
- 参考スコア(独自算出の注目度): 29.585934076475226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study whether we can learn novel manipulation skills from human actions to a bi-manual robot with parallel grippers. Human action data is cheap, abundant, and diverse, making it one of the most promising resources for scaling up robot learning. Yet transferring skills from humans to robots remains hard: most prior work treats humans as just another bi-manual 6DoF embodiment, where hand-pose estimates are noisy and the contact patterns of human fingers differ fundamentally from those of a parallel gripper. We argue that learning rotation-inclusive action signals from human data is therefore sub-optimal, and instead propose a bridging action representation: the relative wrist translation within the initial head-camera frame, an action space shared by humans and robots. To handle the potential absence of certain action components in different embodiments, we build a $π_0$-like vision-language-action model with interleaved action tokens and attention masking. On a suite of novel bi-manual manipulation tasks, our bridging action transfers human manipulation knowledge to robots far more effectively than noisy 6DoF human actions and scales with the amount of human data.
- Abstract(参考訳): 我々は,人間の行動から平行グリッパーを持つバイマニュアルロボットまで,新たな操作スキルを習得できるかどうかを考察する。
人間の行動データは安価で豊富で多様なもので、ロボット学習をスケールアップするための最も有望なリソースの1つだ。
しかし、人間からロボットにスキルを移すことは難しいままだ。ほとんどの先行研究では、手動推定がノイズが多く、人間の指の接触パターンがパラレルグリップと根本的に異なるという、人間を単なる手動6DoFエボディメントとして扱う。
そこで本研究では,人間とロボットが共有する行動空間である頭部カメラフレーム内の相対的な手首翻訳という,人間データからの回転包摂的行動信号の学習が準最適であり,ブリッジング的行動表現を提案する。
異なる実施形態における特定のアクションコンポーネントの潜在的な欠如に対処するため、我々は、インターリーブされたアクショントークンとアテンションマスキングを備えた、$π_0$のような視覚言語-アクションモデルを構築した。
我々のブリッジングアクションは、新しいバイマニュアル操作タスクのスイートにおいて、人間の操作に関する知識を6DoFのノイズよりもはるかに効果的にロボットに伝達し、人間のデータ量でスケールする。
関連論文リスト
- HumanEgo: Zero-Shot Robot Learning from Minutes of Human Egocentric Videos [58.9564236347451]
HumanEgoは、人間とロボットのエンボディメントギャップを橋渡しするフレームワークである。
それは、人間のデモを、手動オブジェクトの相互作用の実体レベルの表現へと持ち上げる。
HumanEgoは、ロボットのデータフリー、ハードウェア非依存、データ効率、ゼロショットの人間とロボットの転送を可能にする。
論文 参考訳(メタデータ) (2026-05-24T08:26:41Z) - From Human Hands to Robot Arms: Manipulation Skills Transfer via Trajectory Alignment [36.08997778717271]
現実世界のロボットの多様な操作スキルを学ぶことは、高価でスケールの難しい遠隔操作によるデモンストレーションに依存することでボトルネックとなる。
本稿では,操作終端の3次元軌跡を統一中間表現として利用することにより,この実施ギャップを橋渡しする新しいフレームワークであるTraj2Actionを紹介する。
我々の方針はまず,人間とロボットの両方のデータを活用することで,高レベルの運動計画を形成する粗い軌道を生成することを学習する。
論文 参考訳(メタデータ) (2025-10-01T04:21:12Z) - RHINO: Learning Real-Time Humanoid-Human-Object Interaction from Human Demonstrations [38.1742893736782]
RHINOは一般のヒューマノイド-ヒト-オブジェクト相互作用フレームワークである。
リアクティブモーション、命令ベースの操作、安全性に関する統一的なビューを提供する。
1)リアルタイムな人間の行動から人間の意図を推定するハイレベルプランナー,2)予測された意図に基づく反応行動とオブジェクト操作のスキルを達成する低レベルコントローラである。
論文 参考訳(メタデータ) (2025-02-18T18:56:41Z) - Learning to Transfer Human Hand Skills for Robot Manipulations [12.797862020095856]
本稿では,人間の手の動きのデモから,ロボットに巧妙な操作課題を教える方法を提案する。
本手法では,人間の手の動き,ロボットの手の動き,物体の動きを3Dでマッピングする関節運動多様体を学習し,ある動きを他者から推測する。
論文 参考訳(メタデータ) (2025-01-07T22:33:47Z) - InteRACT: Transformer Models for Human Intent Prediction Conditioned on Robot Actions [7.574421886354134]
InteRACTアーキテクチャは、大規模な人間と人間のデータセットと小さな人間とロボットのデータセットの微細構造に関する条件付き意図予測モデルを事前訓練する。
実世界の協調的なロボット操作タスクについて評価し、条件付きモデルが様々な限界ベースラインよりも改善されていることを示す。
論文 参考訳(メタデータ) (2023-11-21T19:15:17Z) - Giving Robots a Hand: Learning Generalizable Manipulation with
Eye-in-Hand Human Video Demonstrations [66.47064743686953]
眼内カメラは、視覚に基づくロボット操作において、より優れたサンプル効率と一般化を可能にすることを約束している。
一方、人間がタスクを行うビデオは、ロボット遠隔操作の専門知識を欠いているため、収集コストがずっと安い。
本研究では,広範にラベルのない人間ビデオによるロボット模倣データセットを拡張し,眼球運動ポリシーの一般化を大幅に促進する。
論文 参考訳(メタデータ) (2023-07-12T07:04:53Z) - Zero-Shot Robot Manipulation from Passive Human Videos [59.193076151832145]
我々は,人間の映像からエージェント非依存の行動表現を抽出するフレームワークを開発した。
我々の枠組みは、人間の手の動きを予測することに基づいている。
トレーニングされたモデルゼロショットを物理ロボット操作タスクにデプロイする。
論文 参考訳(メタデータ) (2023-02-03T21:39:52Z) - HERD: Continuous Human-to-Robot Evolution for Learning from Human
Demonstration [57.045140028275036]
本研究では,マイクロ進化的強化学習を用いて,操作スキルを人間からロボットに伝達可能であることを示す。
本稿では,ロボットの進化経路とポリシーを協調的に最適化する多次元進化経路探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-08T15:56:13Z) - Robots with Different Embodiments Can Express and Influence Carefulness
in Object Manipulation [104.5440430194206]
本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。
ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
論文 参考訳(メタデータ) (2022-08-03T13:26:52Z) - Human Grasp Classification for Reactive Human-to-Robot Handovers [50.91803283297065]
本稿では,ロボットが人間に遭遇するロボットのハンドオーバに対するアプローチを提案する。
対象物をさまざまな手形やポーズで保持する典型的な方法をカバーする,人間の把握データセットを収集する。
本稿では,検出した把握位置と手の位置に応じて人手から対象物を取り出す計画実行手法を提案する。
論文 参考訳(メタデータ) (2020-03-12T19:58:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。