論文の概要: KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration

• arxiv url: http://arxiv.org/abs/2610.21152v1
• Date: Thu, 15 Oct 2026 03:08:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.155495
• Title: KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration
• Title（参考訳）: 小田:キネマティクス-人間中心のデモから学ぶヒューマノイド学習のための観測データアライメント
• Abstract要約: ヒューマノイド全体視覚アクション(VLA)の訓練には、ロボットビューとコントローラー互換の全身状態動作ラベルを備えた高価なロボットデモが必要である。 我々は,エゴセントリックなRGBデモを,再利用可能な標準軌跡を用いて,全身のVLAトレーニングデータに変換するKODAを提案する。 我々は,4つのユニツリーG1ロコ操作タスクにおいて,SONICとHEFTの2つのボディコントローラを用いてKODAを評価する。
• 参考スコア（独自算出の注目度）: 73.0540153209998
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Training humanoid whole-body vision-language-action (VLA) policies requires costly robot demonstrations with aligned robot-view observations and controller-compatible whole-body state-action labels. Egocentric human demonstrations offer scalable supervision but have misaligned views and sparse motion cues. Existing approaches either pretrain policies that still require robot data for adaptation or generate controller-specific commands that limit reuse. Conversion also requires robot-view observations aligned with the generated whole-body motion. We present KODA (Kinematics-Observation Data Alignment), which converts egocentric RGB demonstrations into whole-body VLA training data using a reusable canonical trajectory to guide robot-view synthesis and generate controller-specific whole-body state-action supervision. KODA first generates a simulator-checked whole-body trajectory using a sparse tracker with sampling-based command optimization. This generated trajectory directly determines the onboard camera poses used to synthesize corresponding robot-view observations. The motion, observations, and task instruction form a canonical record. For each deployment controller, KODA optimizes commands to track the stored motion and records the corresponding action labels and proprioceptive states. When switching controllers, KODA retains this canonical record and regenerates whole-body state-action supervision for co-training with matching robot demonstrations. We evaluate KODA on four Unitree G1 loco-manipulation tasks using two whole-body controllers, SONIC and HEFT. With robot data held fixed, macro-average success on conditions covered by human demonstrations but absent from robot data improves by 45.0 and 46.25 percentage points, respectively. Under both controllers, this metric shows an upward trend across the evaluated human-data budgets, suggesting potential for further scaling.
• Abstract（参考訳）: ヒューマノイド全体視覚言語アクション(VLA)の訓練には、ロボットビューとコントローラ互換の全身状態動作ラベルを備えた高価なロボットデモが必要である。 エゴセントリックな人間のデモは、スケーラブルな監視を提供するが、不整合のビューとスパースモーションキューがある。 既存のアプローチは、適応のためにまだロボットデータを必要とする事前訓練ポリシーか、再利用を制限するコントローラ固有のコマンドを生成する。 変換には、生成された全身の動きに合わせてロボットビューの観察も必要である。 我々は,自己中心型RGBデモンストレーションを再利用可能な標準軌跡を用いて全身VLAトレーニングデータに変換し,ロボットビュー合成を誘導し,コントローラ固有の全身状態制御を生成するKODA(Kinematics-Observation Data Alignment)を提案する。 KoDAはまず,サンプリングに基づくコマンド最適化を備えたスパーストラッカーを用いて,シミュレータチェックされた全身軌跡を生成する。 この生成された軌道は、対応するロボットビューの観察を合成するために使用される搭載カメラのポーズを直接決定する。 動作、観察、タスクの指示は標準記録を形成する。 各デプロイメントコントローラでは、格納された動作を追跡するコマンドを最適化し、対応するアクションラベルとプロプリセプティブ状態を記録する。 コントローラを切り替える際には、この標準記録を保持し、一致するロボットのデモとの共同トレーニングのための全身状態制御を再生する。 我々は,4つのユニツリーG1ロコ操作タスクにおいて,SONICとHEFTの2つのボディコントローラを用いてKODAを評価する。 ロボットデータが固定された状態では、人間のデモによってカバーされる条件下でのマクロ平均的な成功は、それぞれ45.0と46.25のポイントで改善される。 両コントローラの下では、この指標は評価された人的データ予算の上昇傾向を示し、さらなるスケーリングの可能性を示している。

関連論文リスト

• Eye, Robot: Learning Expressive Gaze Dynamics via a VLM-Guided Transformer-VAE [14.327103479738858]
  ヒューマノイドロボットは、目標に向かって適切な動きをしながら、どこを見るべきかを選択する必要がある。 我々はこれらのタスクを、シーン参照を選択する非同期視覚言語モデル、固定性を維持するリアクティブ認識モジュール、ターゲット条件の動作を生成するリアル・ゲイズ・トランスフォーマ(RGT)で分離する。 RGTは、マーカーのない人間の記録をロボットの11-DoF関節空間に再ターゲットするトランスフォーマーVAEである。
  論文  参考訳（メタデータ） (2026-10-14T06:04:04Z)
• EgoAlign: Bridging the Human-Humanoid Gap for Long-Range Loco-Manipulation [30.557334389658166]
  EgoAlignは、エゴセントリックな人間のデモをアクションに変換し、汎用的で連続的なボディコントローラと互換性のある状態の監視を行う。 上半身の相互作用の幾何に適応しながら、視覚的にガイドされた周期的なステップの参照を保存する。 最終因果リプレイは、人間の観察によるトレーニングのための対応するロボット状態とモーション・トーケン・ラベルを再構成する。
  論文  参考訳（メタデータ） (2026-09-29T17:18:42Z)
• Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data [60.94418315274988]
  Ego2Robotは、キュレートされたビデオとインザワイルドのビデオの両方をサポートし、15のロボット形態にまたがる18,561時間のトレーニングデータを生成する。 Ego2Robotの合成データとロボットデータの併用による事前学習は、複数のタイプにわたるアウト・オブ・ディストリビューションの一般化を一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-03T17:52:26Z)
• CWI: Composite Humanoid Whole-Body Imitation System for Loco-manipulation [5.627724691080982]
  上半身操作と下半身移動のためのMoCapデータの利用を分離するフレームワークであるComposite Whole-Body Imitation (CWI)を提案する。 マルチクリティカルアーキテクチャは、移動、操作、動きスタイルの目的間の衝突を減らす。 その結果, 全体モーションキャプチャー装置を使わずに, 競争力のあるロコ操作性能, 頑健な全身調整, 実用的な遠隔操作を実現した。
  論文  参考訳（メタデータ） (2026-06-26T03:14:52Z)
• CLAW: Composable Language-Annotated Whole-body Motion Generation [55.99805728566105]
  CLAWは,言語を付加した全身運動データをスケーラブルに生成するためのパイプラインである。 CLAWは運動プランナーから運動プリミティブを構成し、動き、方向、速度、骨盤の高さ、持続時間によってパラメータ化される。 低レベルコントローラは、これらの参照を MuJoCo シミュレーションで追跡し、物理的に接地された軌道を生成する。
  論文  参考訳（メタデータ） (2026-04-13T10:02:04Z)
• MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
  人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。 MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
  論文  参考訳（メタデータ） (2025-12-17T12:59:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。