論文の概要: Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

• arxiv url: http://arxiv.org/abs/2610.13522v1
• Date: Fri, 09 Oct 2026 12:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.583125
• Title: Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
• Title（参考訳）: 成功したロボットデモを超えて:ヒューマンインタラクションから学び、失敗ダイナミクスをモデル化する
• Abstract要約: 本稿では,ヒューマンインタラクション学習と障害認識後学習を組み合わせた行動条件世界モデルHF-WMを紹介する。 我々は,HF-WMが動作条件付きビデオ生成における最先端性能を実現し,下流ロボット作業におけるポリシー評価に強力な有用性を示すことを示す。
• 参考スコア（独自算出の注目度）: 20.50580783338928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Action-conditioned world models offer a promising foundation for generalist robotic intelligence by predicting the consequences of actions. However, existing robotic datasets provide limited coverage of the diverse interaction dynamics required for generalizable world modeling. Large-scale egocentric human videos offer complementary interaction experience, yet the embodiment gap between human hands and robotic manipulators hinders effective cross-embodiment learning. Meanwhile, the predominance of successful demonstrations leaves failure dynamics substantially underrepresented, limiting the ability of world models to anticipate unsuccessful executions. To address these limitations, we introduce HF-WM, an action-conditioned world model that combines Human interaction learning with Failure-aware post-training. To bridge the embodiment gap, we develop a dual-branch framework that couples video generation with auxiliary pointflow prediction, using stabilized pointflow as a unified motion representation across human and robot interactions while suppressing egocentric camera motion. To improve failure modeling, we further perform Group Relative Policy Optimization (GRPO) post-training on perturbed actions derived from successful demonstrations, guided by action alignment and physical plausibility rewards, enabling the model to learn plausible failure dynamics without paired ground-truth videos. Extensive experiments demonstrate that HF-WM achieves state-of-the-art performance in action-conditioned video generation and exhibits strong utility for policy evaluation in downstream robotic tasks.
• Abstract（参考訳）: アクション条件付き世界モデルは、アクションの結果を予測することによって、ジェネラリストロボットインテリジェンスのための有望な基盤を提供する。 しかし、既存のロボットデータセットは、一般化可能な世界モデリングに必要な多様な相互作用のダイナミクスを限定的にカバーしている。 大規模なエゴセントリックな人間のビデオは、相補的な対話体験を提供するが、人間の手とロボットマニピュレータの間のエンボディメントのギャップは、効果的なクロスエボディメント学習を妨げる。 一方、成功したデモンストレーションの優位性は、失敗のダイナミクスを著しく過小評価し、世界モデルが実行失敗を予測できる能力を制限する。 これらの制約に対処するために,ヒューマンインタラクション学習と障害認識後トレーニングを組み合わせた行動条件付き世界モデルHF-WMを導入する。 本研究では,映像生成と補助的な点流予測を結合したデュアルブランチ・フレームワークを開発し,人間とロボットの相互作用における一貫した動き表現として安定化された点流を用いて,自我中心のカメラの動きを抑える。 故障モデルを改善するために,我々は,動作アライメントと物理的可視性報酬によって誘導される実演の成功から生じる摂動行動に基づいて,グループ相対政策最適化(GRPO)後訓練を行い,ペアの地絡映像を使わずに妥当な故障ダイナミクスを学習できるようにする。 大規模な実験により,HF-WMは動作条件付きビデオ生成において最先端のパフォーマンスを達成し,下流ロボット作業におけるポリシー評価に強力な有用性を示した。

関連論文リスト

• XPACE: Joint World and Action Modeling from Heterogeneous Experience [49.17824968489423]
  汎用ロボットは、多様な経験を生かし、アクションを選択し、それらのアクションがどのように世界を変えるかを予測する必要がある。 我々は,ワールドアクションモデルとシミュレータの両方を兼ね備えた,統一型世界モデルであるXPACEを紹介する。 ポリシーとシミュレーター間のビデオバックボーンを共有することで、視覚力学とアクションラベル付き人間とロボットのデモを学ぶためにアクションラベル付きビデオを使用する。
  論文  参考訳（メタデータ） (2026-09-15T16:07:34Z)
• AnyWorld: Factorized Egocentric World Models for Cross-Embodiment Generalization [88.25615187835321]
  我々は,クロス・エボディメント・ワールド・モデリング・フレームワークであるAnyWorldを提案する。 私たちのモデルは、アクション、カメラ、エンボディメントへのインタラクションを分解します。 大規模なヒューマンインタラクション事前トレーニングでモデルをトレーニングする。
  論文  参考訳（メタデータ） (2026-08-29T12:55:15Z)
• H2R-Bench: Benchmarking Human-to-Robot Manipulation Video Generation in World Models [56.60098789696351]
  H2R-Benchは、人間とロボットの相互操作ビデオ生成を評価するためのベンチマークである。 各ベンチマークインスタンスには、人間のデモビデオ、ターゲットの実施制約、ソース地上アノテーションが含まれている。 我々は、6つの操作ファミリーと2つのロボットエボディメントで11の最先端のビデオ生成モデルをベンチマークした。
  論文  参考訳（メタデータ） (2026-08-13T10:14:33Z)
• GeniWorld: A Generalizable Interactive World Model for Robotic Manipulation via Visual Actions [25.431221165541874]
  汎用的なロボット政策は強力な能力を示すが、複雑で見えない環境での頑丈さは依然として限られている。 我々は、見えないシナリオにまたがって堅牢に一般化するロボットのためのインタラクティブな世界モデルGeniWorldを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T17:40:32Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)
• AnchorDream: Repurposing Video Diffusion for Embodiment-Aware Robot Data Synthesis [33.90053396451562]
  AnchorDreamは、ロボットデータ合成のための事前学習されたビデオ拡散モデルを再利用した、エンボディメントを意識した世界モデルである。 本手法は,環境モデリングを必要とせず,大規模で多様な高品質なデータセットにスケールする。 実験の結果、生成されたデータは下流の政策学習において一貫した改善をもたらし、シミュレータのベンチマークでは36.4%、現実世界の研究ではほぼ2倍の性能を示した。
  論文  参考訳（メタデータ） (2025-12-12T18:59:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。