論文の概要: FetchMan: Learning Visual Humanoid Loco-Manipulation Policies from Simulated Experiences
- arxiv url: http://arxiv.org/abs/2608.17027v1
- Date: Mon, 17 Aug 2026 18:24:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.09423
- Title: FetchMan: Learning Visual Humanoid Loco-Manipulation Policies from Simulated Experiences
- Title(参考訳): FetchMan: シミュレーションによる視覚的ヒューマノイドロコ操作ポリシの学習
- Abstract要約: 我々は、新しいシーンやオブジェクトに一般化できる視覚的ロコ操作ポリシーを訓練する。
その結果, 合成デモのクローン化は, トレーニングデータの量に関係なく, 低い性能の天井となることがわかった。
我々はこのレシピをマルチオブジェクトトレーニングに拡張し、このデータスケールでのloco-manipulation Generalistポリシーへの第一歩とする。
- 参考スコア(独自算出の注目度): 27.81769516494806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Visual loco-manipulation policies that can generalize to novel scenes and objects have long been a goal of robotics research. However, today's data-hungry algorithms make collecting sufficient demonstrations a struggle for tabletop manipulation, and even more so for humanoids that must also walk and balance. Learning from simulated data and transferring that behavior to the real world, as is commonly done in locomotion, sidesteps this struggle, so we replicate that recipe for loco-manipulation. In doing so, we find that cloning synthetic demonstrations results in a low performance ceiling no matter the amount of training data. Reinforcement learning breaks through it, and refining the cloned policy with Flow-GRPO on a single sparse reward yields performance that synthetic behavior cloning cannot match. Together, these stages form our end-to-end sim-to-real pipeline spanning more than 150,000 scenes, which we use to train FetchMan. We evaluate it on FetchMan-Bench, a simulation benchmark we release, and deploy it zero-shot on a real Unitree G1, where our single-object reach-and-pick policy walks to and grasps a target across unseen scenes at 73.3% success. Finally, we extend this recipe to multi-object training, a first step toward loco-manipulation generalist policies at this data scale.
- Abstract(参考訳): 斬新なシーンやオブジェクトに一般化できる視覚的ロコ操作ポリシーは、ロボット工学研究の長年の目標だった。
しかし、今日のデータハングリーアルゴリズムは、十分なデモを集めることで、テーブルトップ操作に苦労するだけでなく、歩いたりバランスを取る必要のあるヒューマノイドにも苦労する。
シミュレーションデータから学習し、その振る舞いを実世界に移すことは、ローコムーブメントで一般的に行われているように、この苦労を副産物にして、そのレシピをロコ・マニピュレーションのために複製する。
その結果, 合成デモのクローン化は, トレーニングデータの量に関係なく, 性能の低い天井となることがわかった。
強化学習はそれを突破し、フロー-GRPOでクローン化されたポリシーを1つのスパース報酬で精製すると、合成的行動のクローン化が一致しない性能が得られる。
これらのステージは15万以上のシーンにまたがるエンドツーエンドのsim-to-realパイプラインを形成し、FetchManのトレーニングに使用しています。
我々は、FetchMan-Benchというシミュレーションベンチマークでこれを評価し、実際のUnitree G1にゼロショットをデプロイします。
最後に、このレシピをマルチオブジェクトトレーニングに拡張し、このデータスケールでのロコ操作ジェネリストポリシーへの第一歩とする。
関連論文リスト
- Pre-training Visual Dexterity in Simulation [67.17477115017896]
シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。
5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。
提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
論文 参考訳(メタデータ) (2026-08-16T20:21:33Z) - VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes [71.14444761145435]
知覚に基づくヒューマノイド・ロコ・マニピュレーションは、自我中心の観察とタスク・インストラクションを全身の動きに結びつける必要がある。
既存のデータソースがこれを完全に提供するものはありません。
このボトルネックに対処するために、再構成シーンで視覚・言語・運動学を総合的に指導する手法を提案する。
論文 参考訳(メタデータ) (2026-06-29T17:59:55Z) - LEGS: Fine-Tuning Teleop-Free VLAs for Humanoid Loco-manipulation in an Embodied Gaussian Splatting World [14.534355249709371]
LEGS (Loco-Manipulation via Embodied Gaussian Splatting) は、手持ちのシーンキャプチャから再構築された、フォトリアリスティックな3Dガウスの背景の上にメッシュ前景(ロボット、オブジェクト、プロップ)を合成するハイブリッドシミュレータである。
ユニツリーG1のヒューマノイドロボットでは、3つのタスクにまたがって、LEGSのデータマッチングに純粋に訓練されたポリシーが、あらゆる実験で人間の遠隔操作デモで訓練されたポリシーを上回っている。
また、3DGSの背景効果を非難するメッシュのみのシミュレーションベースラインを上回り、フォトリアリスティックレンダリングが合成データ転送の鍵となることを示している。
論文 参考訳(メタデータ) (2026-05-31T21:36:02Z) - HumanoidMimicGen: Data Generation for Loco-Manipulation via Whole-Body Planning [52.022681285103126]
我々はHumanoid MimicGenについて述べる。
本手法は,少数の実演から新しい状態へ,接触に富んだ全身スキルを適応させる。
我々は、HumanoidMimicGenが生成したデータと協調してトレーニングされた全身ビズモータポリシーが、実世界のデータでのみトレーニングされたものよりも20%優れていたことを示す。
論文 参考訳(メタデータ) (2026-05-26T21:57:11Z) - Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer [59.02729900344616]
GPUを加速したフォトリアリスティックなシミュレーションは、ロボット学習のためのスケーラブルなデータ生成パスを開いた。
視覚に基づくヒューマノイドロコ操作のための教師-学生-ブートストラップ学習フレームワークを開発した。
これは、純粋なRGB知覚を用いた多様な調音ロコ操作が可能な初めてのヒューマノイド・シム・トゥ・リアル政策である。
論文 参考訳(メタデータ) (2025-11-30T20:07:13Z) - DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation [29.519071338337685]
シミュレーションにおける1つのデモから,実ロボット上でのヒューマノイドロコ操作のためのフレームワークであるDemoHLMを提案する。
全身のコントローラーは、全身のモーションコマンドを関節トルクにマッピングし、ヒューマノイドロボットのための全方向移動手段を提供する。
実験では, 合成データ量と政策性能との間に正の相関が認められた。
論文 参考訳(メタデータ) (2025-10-13T10:49:40Z) - ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation [22.43711565969091]
Articubot(アルティキュボット)は、現実世界で目に見えないオブジェクトの多様なカテゴリをオープンするポリシーを学ぶシステムである。
学習したポリシーは、3つの異なるリアルロボット設定にゼロショット転送可能であることを示す。
論文 参考訳(メタデータ) (2025-03-04T22:51:50Z) - Robot Learning with Super-Linear Scaling [13.053949644385932]
CASHERは、データ収集と学習をシミュレーションでスケールアップするためのパイプラインであり、パフォーマンスは人間の努力と超直線的にスケールする。
そこで我々は,CASHERにより,人的努力を伴わないビデオスキャンにより,事前学習したポリシーを目標シナリオに微調整できることを示す。
論文 参考訳(メタデータ) (2024-12-02T18:12:02Z) - A Framework for Efficient Robotic Manipulation [79.10407063260473]
単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。
デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
論文 参考訳(メタデータ) (2020-12-14T22:18:39Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。