論文の概要: Pre-training Visual Dexterity in Simulation

• arxiv url: http://arxiv.org/abs/2608.15917v1
• Date: Sun, 16 Aug 2026 20:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.468266
• Title: Pre-training Visual Dexterity in Simulation
• Title（参考訳）: シミュレーションにおける事前学習型ビジュアルデキスタリティ
• Abstract要約: シミュレーションで完全に収集されたデータを利用するデクスタラスな操作のための事前学習フレームワークを導入する。 5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。 提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。
• 参考スコア（独自算出の注目度）: 67.17477115017896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-training has made robot policy fine-tuning increasingly data-efficient, but this progress has largely been driven by datasets and embodiments built around simple parallel-jaw grippers. Dexterous, multi-fingered hands remain comparatively data-starved because real teleoperation is costly to scale, while human hand video is off-embodiment and requires lossy pose estimation and retargeting. We introduce Simulation Pre-training for Dexterity (SPD), a pre-training framework for dexterous manipulation that uses data entirely collected in simulation. In SPD, humans manipulate virtual objects inside a VR headset, enabling on-embodiment trajectories and robot-free collection. With the help of five operators, we collect 75 hours of multi-task dexterous manipulation over one week, and use it to pre-train a causal transformer on a sequence modeling objective. We study the benefits of simulation pre-training on real-world tasks by fine-tuning on 1-2 hours of physical demonstrations on a 56-DoF bimanual dexterous setup. We find that our approach outperforms training behavior cloning policies from scratch, showing that simulation teleoperation is a viable pre-training source for real-world dexterous manipulation. We perform ablation studies, measuring the benefits of history conditioning and short action chunks for reactive control.
• Abstract（参考訳）: 大規模な事前トレーニングによって、ロボットのポリシーを微調整し、データ効率を向上させたが、この進歩は、単純なパラレルジャウグリッパーを中心に構築されたデータセットとエボディメントによって大きく推進されてきた。 実際の遠隔操作はスケールするのにコストがかかるのに対して、人間の手動ビデオは非身体的であり、ポーズ推定と再ターゲティングの損失を必要とする。 本稿では,デキスタリティのためのシミュレーション事前学習(SPD)を紹介する。 SPDでは、人間がバーチャルオブジェクトをVRヘッドセット内で操作し、オン・エボデーメント・トラジェクトリーとロボットフリーの収集を可能にする。 5人のオペレーターの助けを借りて、1週間にわたって75時間のマルチタスク・デキスタラスな操作を収集し、配列モデリングの目的に基づいて因果変換器を事前訓練する。 本研究では,56-DoF双対デキスタラス装置上での1-2時間の実演を微調整することにより,実世界の課題に対するシミュレーション事前学習の利点について検討した。 提案手法は,シミュレーション遠隔操作が実世界における創発的操作のトレーニング前情報源として有効なことを示し,学習行動のクローン化方針をゼロから上回る結果を得た。 我々は、履歴条件付けと反応制御のための短いアクションチャンクの利点を計測し、アブレーション研究を行う。

関連論文リスト

• OASIS: From Simulation Data Collection to Real-World Humanoid Loco-Manipulation [51.37436817948304]
  OASISはヒューマノイドのロコ操作のためのシミュレーションデータ駆動のフレームワークである。 3次元生成モデルを用いて実世界の画像から現実的なオブジェクト資産を再構築する。 ゼロショットデプロイメントでは、実際のロボット遠隔操作データでトレーニングされたタスクよりも、ほとんどのタスクで高い成功率を達成する。
  論文  参考訳（メタデータ） (2026-06-07T10:01:53Z)
• Imitating What Works: Simulation-Filtered Modular Policy Learning from Human Videos [56.510263910611684]
  本研究では,様々な動作を行う前に物体をつかむタスクを包括的操作に対処する。 人間のビデオは、移植後の動作を学ぶための強力な信号を提供するが、必要な把握行動を学ぶのにはあまり役に立たない。 本稿では、人間の動画モーションデータを用いたモジュラー操作ポリシーをトレーニングするためのフレームワークであるPerceive-Simulate-Imitate(PSI)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T18:59:10Z)
• MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos [43.836197294180316]
  そこで本研究では,より効率的なポリシー学習を実現するために,よりリッチな操作を生かした創発的ロボット操作手法であるMAPLEを提案する。 具体的には、手動接触時の手動接触点と詳細な手動ポーズを予測し、学習した特徴を用いて下流操作タスクのポリシーを訓練する。
  論文  参考訳（メタデータ） (2025-04-08T14:25:25Z)
• Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation [40.96453435496208]
  本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
  論文  参考訳（メタデータ） (2025-03-31T17:39:38Z)
• Robot Learning with Super-Linear Scaling [13.053949644385932]
  CASHERは、データ収集と学習をシミュレーションでスケールアップするためのパイプラインであり、パフォーマンスは人間の努力と超直線的にスケールする。 そこで我々は,CASHERにより,人的努力を伴わないビデオスキャンにより,事前学習したポリシーを目標シナリオに微調整できることを示す。
  論文  参考訳（メタデータ） (2024-12-02T18:12:02Z)
• DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning [42.88605563822155]
  本稿では,人間の手による人型ロボットの人体実験からトラジェクトリを合成する大規模自動データ生成システムを提案する。 私たちは、たった60のソースの人間デモから、これらのタスク全体で21Kのデモを生成します。 また、実世界のヒューマノイド缶ソートタスクに、実世界のシミュレート・トゥ・リアルパイプラインを配置する。
  論文  参考訳（メタデータ） (2024-10-31T17:48:45Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [57.278726604424556]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to Reality [64.51295032956118]
  我々は人型ロボットの手で頑健な操作を行える政策を訓練する。 本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
  論文  参考訳（メタデータ） (2022-10-25T01:51:36Z)
• A Framework for Efficient Robotic Manipulation [79.10407063260473]
  単一のロボットアームがピクセルからスパースリワード操作ポリシーを学習できることを示します。 デモは10回しかなく、単一のロボットアームがピクセルからスパースリワード操作のポリシーを学習できることを示しています。
  論文  参考訳（メタデータ） (2020-12-14T22:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。