Fugu-MT 論文翻訳(概要): GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation

論文の概要: GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation

arxiv url: http://arxiv.org/abs/2401.00929v2
Date: Fri, 14 Jun 2024 14:10:19 GMT
ステータス: 処理完了
システム内更新日: 2024-06-17 19:24:01.438632
Title: GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation
Title（参考訳）: GenH2R: スケーラブルシミュレーション,デモ,模倣による汎用型人間ロボットハンドオーバの学習
Authors: Zifan Wang, Junyu Chen, Ziqing Chen, Pengwei Xie, Rui Chen, Li Yi,
Abstract要約: GenH2Rは、一般化可能なビジョンベースのヒューマン・トゥ・ロボット(H2R)ハンドオーバスキルを学ぶためのフレームワークである。我々は、H2Rハンドオーバを包括的解を用いて大規模に学習することで、そのような一般化可能性を得る。大規模3次元モデルレポジトリ、デクスタラスグリップ生成方法、曲線ベースの3次元アニメーションを活用している。
参考スコア（独自算出の注目度）: 31.702907860448477
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents GenH2R, a framework for learning generalizable vision-based human-to-robot (H2R) handover skills. The goal is to equip robots with the ability to reliably receive objects with unseen geometry handed over by humans in various complex trajectories. We acquire such generalizability by learning H2R handover at scale with a comprehensive solution including procedural simulation assets creation, automated demonstration generation, and effective imitation learning. We leverage large-scale 3D model repositories, dexterous grasp generation methods, and curve-based 3D animation to create an H2R handover simulation environment named \simabbns, surpassing the number of scenes in existing simulators by three orders of magnitude. We further introduce a distillation-friendly demonstration generation method that automatically generates a million high-quality demonstrations suitable for learning. Finally, we present a 4D imitation learning method augmented by a future forecasting objective to distill demonstrations into a visuo-motor handover policy. Experimental evaluations in both simulators and the real world demonstrate significant improvements (at least +10\% success rate) over baselines in all cases. The project page is https://GenH2R.github.io/.
Abstract（参考訳）: 本稿では、汎用ビジョンベースのヒューマン・トゥ・ロボット(H2R)ハンドオーバスキルを学習するためのフレームワークであるGenH2Rを提案する。目標は、ロボットにさまざまな複雑な軌道で人間が引き継いだ見えない形状の物体を確実に受信する能力を持たせることだ。我々は,H2Rハンドオーバを大規模に学習し,手続き的シミュレーション資産の生成,自動実演生成,効果的な模倣学習を含む包括的なソリューションにより,そのような一般化可能性を得る。大規模3次元モデルレポジトリ,デクスタルーグリップ生成方法,曲線に基づく3次元アニメーションを活用して,既存のシミュレータのシーン数を3桁超えたH2Rハンドオーバシミュレーション環境を創出する。さらに,学習に適した100万個の高品質な実演を自動生成する蒸留フレンドリーな実演生成手法を提案する。最後に、将来の予測目標によって強化された4次元模倣学習手法を提案し、実演をビジュオモータのハンドオーバポリシに蒸留する。シミュレータと実世界の双方での実験的な評価は、すべてのケースにおいてベースラインよりも顕著な改善(少なくとも+10\%の成功率)を示している。プロジェクトページはhttps://GenH2R.github.io/。

関連論文リスト

Robot See Robot Do: Imitating Articulated Object Manipulation with Monocular 4D Reconstruction [51.49400490437258]
本研究は,1つの単分子RGB人間の実演から音声による物体操作を模倣する手法を開発した。まず,モノクロ映像から3次元部分運動を復元する4次元微分可能部品モデル(4D-DPM)を提案する。この4D再構成を前提として、ロボットは物体の軌道を再現し、両腕の動きを計画し、実証された物体部分の動きを誘導する。両用するYuMiロボットを用いて,4D-DPMの3D追跡精度を実写3D部分軌跡に基づいて評価し,9つのオブジェクトに対してRSRDの物理的実行性能を評価した。
論文参考訳（メタデータ） (2024-09-26T17:57:16Z)
DemoStart: Demonstration-led auto-curriculum applied to sim-to-real with multi-fingered robots [15.034811470942962]
3本指ロボットハンドを装備した腕の複雑な操作動作を学習できる新しい自己カリキュラム強化学習法であるDemoStartを提案する。シミュレーションからの学習は、行動生成のサイクルを劇的に減らし、ドメインランダム化技術を利用して、ゼロショット・シム・トゥ・リアル転送を成功させる。
論文参考訳（メタデータ） (2024-09-10T16:05:25Z)
RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots [25.650235551519952]
本稿では,汎用ロボットを日常的に訓練するための大規模シミュレーションフレームワークであるRoboCasaを紹介する。私たちは、150以上のオブジェクトカテゴリと数十の対話可能な家具とアプライアンスに対して、何千もの3Dアセットを提供しています。本実験は, 大規模模倣学習のための合成ロボットデータを用いて, スケーリングの傾向を明らかにするものである。
論文参考訳（メタデータ） (2024-06-04T17:41:31Z)
DiffGen: Robot Demonstration Generation via Differentiable Physics Simulation, Differentiable Rendering, and Vision-Language Model [72.66465487508556]
DiffGenは、微分可能な物理シミュレーション、微分可能なレンダリング、ビジョン言語モデルを統合する新しいフレームワークである。言語命令の埋め込みとシミュレートされた観察の埋め込みとの距離を最小化することにより、現実的なロボットデモを生成することができる。実験によると、DiffGenを使えば、人間の努力やトレーニング時間を最小限に抑えて、ロボットデータを効率よく、効果的に生成できる。
論文参考訳（メタデータ） (2024-05-12T15:38:17Z)
Part-Guided 3D RL for Sim2Real Articulated Object Manipulation [27.422878372169805]
実演を伴わずに調音物体の操作を学習できる部分誘導型3D RLフレームワークを提案する。 2次元分割と3次元RLの長所を組み合わせることにより,RL政策訓練の効率化を図る。一つの汎用的なRLポリシーは、シミュレーション中に複数のオブジェクト操作タスクを同時にトレーニングすることができる。
論文参考訳（メタデータ） (2024-04-26T10:18:17Z)
Gen2Sim: Scaling up Robot Learning in Simulation with Generative Models [17.757495961816783]
Gen2Simは、3Dアセット、タスク記述、タスク分解、報酬関数の自動生成によるシミュレーションにおけるロボットスキル学習のスケールアップ方法である。私たちの研究は、シミュレーションにおける完全に自律的なロボット操作スキル獲得に向けて、何百ものシミュレーション資産、タスク、デモに貢献しています。
論文参考訳（メタデータ） (2023-10-27T17:55:32Z)
Learning Interactive Real-World Simulators [96.5991333400566]
生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
論文参考訳（メタデータ） (2023-10-09T19:42:22Z)
GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
論文参考訳（メタデータ） (2023-04-04T23:41:20Z)
Robot Learning from Randomized Simulations: A Review [59.992761565399185]
ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
論文参考訳（メタデータ） (2021-11-01T13:55:41Z)
IGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks [60.930678878024366]
より多様な家庭用タスクのシミュレーションを支援するシミュレーション環境iGibson 2.0を提案する。まず、iGibson 2.0は、温度、湿性レベル、清潔度レベル、トグルとスライスされた状態を含むオブジェクト状態をサポートする。第2に、iGibson 2.0は述語論理関数のセットを実装し、シミュレータ状態をCookedやSoakedのような論理状態にマッピングする。第3に、iGibson 2.0にはバーチャルリアリティ(VR)インターフェースがあり、人間をシーンに浸してデモを収集する。
論文参考訳（メタデータ） (2021-08-06T18:41:39Z)
iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。