論文の概要: Sim-and-Human Co-training for Data-Efficient and Generalizable Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2601.19406v1
• Date: Tue, 27 Jan 2026 09:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.275522
• Title: Sim-and-Human Co-training for Data-Efficient and Generalizable Robotic Manipulation
• Title（参考訳）: データ効率・一般化可能なロボットマニピュレーションのためのSim-and-Humanコトレーニング
• Authors: Kaipeng Fang, Weiqing Liang, Yuyang Li, Ji Zhang, Pengpeng Zeng, Lianli Gao, Jingkuan Song, Heng Tao Shen,
• Abstract要約: SimHumは、シミュレーションされたロボット行動と実世界の人間の観察から視覚的事前を同時に抽出するフレームワークである。 2つの相補的前提に基づき、実世界のタスクにおいて、データ効率と一般化可能なロボット操作を実現する。
• 参考スコア（独自算出の注目度）: 113.13282853889818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthetic simulation data and real-world human data provide scalable alternatives to circumvent the prohibitive costs of robot data collection. However, these sources suffer from the sim-to-real visual gap and the human-to-robot embodiment gap, respectively, which limits the policy's generalization to real-world scenarios. In this work, we identify a natural yet underexplored complementarity between these sources: simulation offers the robot action that human data lacks, while human data provides the real-world observation that simulation struggles to render. Motivated by this insight, we present SimHum, a co-training framework to simultaneously extract kinematic prior from simulated robot actions and visual prior from real-world human observations. Based on the two complementary priors, we achieve data-efficient and generalizable robotic manipulation in real-world tasks. Empirically, SimHum outperforms the baseline by up to $\mathbf{40\%}$ under the same data collection budget, and achieves a $\mathbf{62.5\%}$ OOD success with only 80 real data, outperforming the real only baseline by $7.1\times$. Videos and additional information can be found at \href{https://kaipengfang.github.io/sim-and-human}{project website}.
• Abstract（参考訳）: 合成シミュレーションデータと実世界の人間データは、ロボットデータ収集の禁止コストを回避するためのスケーラブルな代替手段を提供する。 しかし、これらの情報源はそれぞれ、擬似的な視覚的ギャップと人間とロボットのエンボディメントのギャップに悩まされており、これは政策の一般化を現実のシナリオに限定するものである。 シミュレーションは人間のデータに欠けているロボットのアクションを提供するが、人間データはシミュレーションがレンダリングするのに苦労する現実世界の観察を提供する。 この知見に触発されたSimHumは,シミュレーションロボットの動作からキネマティック先行を抽出し,実世界の人間の観察から視覚的先行を抽出する協調学習フレームワークである。 2つの相補的前提に基づき、実世界のタスクにおいて、データ効率と一般化可能なロボット操作を実現する。 経験的に、SimHumは同じデータ収集予算の下で$\mathbf{40\%}$でベースラインを上回り、80の実際のデータで$\mathbf{62.5\%}$ OOD成功を達成し、実際の唯一のベースラインを7.1\times$で上回ります。 ビデオと追加情報は \href{https://kaipengfang.github.io/sim-and- human}{project website} で見ることができる。

関連論文リスト

• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation [40.96453435496208]
  本稿では,視覚に基づくロボット操作課題を解決するためにシミュレーションデータを利用する手法を提案する。 ロボットアームとヒューマノイドの2つの領域を用いて,シミュレーションデータにより実世界のタスク性能を平均38%向上させることができることを示した。
  論文  参考訳（メタデータ） (2025-03-31T17:39:38Z)
• Robot Learning with Super-Linear Scaling [13.053949644385932]
  CASHERは、データ収集と学習をシミュレーションでスケールアップするためのパイプラインであり、パフォーマンスは人間の努力と超直線的にスケールする。 そこで我々は,CASHERにより,人的努力を伴わないビデオスキャンにより,事前学習したポリシーを目標シナリオに微調整できることを示す。
  論文  参考訳（メタデータ） (2024-12-02T18:12:02Z)
• Learning Human Action Recognition Representations Without Real Humans [66.61527869763819]
  そこで本研究では,仮想人間を含む合成データを用いて,実世界の映像を活用してモデルを事前学習するベンチマークを提案する。 次に、このデータに基づいて学習した表現を、下流行動認識ベンチマークの様々なセットに転送可能であるかを評価する。 私たちのアプローチは、以前のベースラインを最大5%上回ります。
  論文  参考訳（メタデータ） (2023-11-10T18:38:14Z)
• Robot Learning from Randomized Simulations: A Review [59.992761565399185]
  ディープラーニングがロボティクス研究のパラダイムシフトを引き起こし、大量のデータを必要とする方法が好まれている。 最先端のアプローチは、データ生成が高速かつ安価であるシミュレーションで学ぶ。 本稿では,ランダム化シミュレーションから学習する手法である「領域ランダム化」に焦点をあてる。
  論文  参考訳（メタデータ） (2021-11-01T13:55:41Z)
• Reactive Long Horizon Task Execution via Visual Skill and Precondition Models [59.76233967614774]
  シミュレーションで学習したモデルを用いて、単純なタスクプランナの構成要素をグラウンド化することで、見知らぬロボットタスクを達成できるシミュレート・トゥ・リアル・トレーニングのアプローチについて述べる。 シミュレーションでは91.6%から98%,実世界の成功率は10%から80%に増加した。
  論文  参考訳（メタデータ） (2020-11-17T15:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。