論文の概要: KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery

• arxiv url: http://arxiv.org/abs/2610.03388v2
• Date: Tue, 06 Oct 2026 14:20:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.275352
• Title: KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery
• Title（参考訳）: KungfuAthleteBot:ビデオから高ダイナミックなヒューマノイドの動きを学ぶ
• Abstract要約: KungfuAthleteBotは、ハイダイナミックな動作の学習を中心的な問題として扱い、これらの3つの障害モードをそれぞれ順番に解決する。 ヒューマノイドロボットでは、KABはビデオからダイナミックスキルを学び、任意のフォールから約0.7秒で回復する。
• 参考スコア（独自算出の注目度）: 5.968082051565195
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Video is an abundant, inexpensive source of human motion data that is rich in extreme athletic behaviors. Making it usable for humanoid robots, however, is not a matter of simply retargeting a reconstructed trajectory: video-derived motion is physically inconsistent, devoid of actuation information, and says nothing about failure or recovery. We present KungfuAthleteBot (KAB), a framework that treats learning high-dynamic motion from video as the central problem and resolves each of these three failure modes in turn. (C1) We build the KungfuAthlete dataset from videos of national-level martial artists and introduce a physics-guided parabolic trajectory correction that removes height floating, ground penetration, and high-frequency jitter from reconstructed aerial and landing phases. (C2) Because video carries no force information, strict tracking of a reconstructed trajectory is dynamically infeasible, and error-driven initialization keeps re-launching the policy from infeasible aerial poses. We introduce physics-driven pseudo-low-kinetic-energy (LKE) sampling, our central mechanism for making such references learnable: it biases initialization towards dynamically feasible states, letting the policy discover feasible actuation patterns instead of imitating infeasible ones. (C3) Finally, we introduce a direct training paradigm in which disturbance rejection and fall recovery are learned inside the same policy that tracks the video motion, requiring no recovery reference data and no manual mode switching. On a humanoid robot, KAB learns dynamic skills from video and recovers from arbitrary falls in about 0.7 s, the fastest reported recovery for a unified policy. Ablations on the unified policy confirm the necessity of its components, supporting the view that repairing and compensating video data, rather than only collecting more of it, is what unlocks high-dynamic humanoid skills.
• Abstract（参考訳）: ビデオは、極端な運動行動に富む人間のモーションデータの豊富で安価な情報源である。 ビデオからの動きは物理的に一貫性がなく、アクティベーション情報がなく、故障や回復については何も言っていない。 KungfuAthleteBot(KAB)は、ビデオから高ダイナミックな動きを学習するフレームワークであり、これら3つの障害モードのそれぞれを順番に解決する。 (C1) 我々は、全国レベルの武道家のビデオからKungfuAthleteデータセットを構築し、高度浮動、地中侵入、高頻度ジッタを空中および着陸フェーズから除去する物理誘導パラボリック軌道補正を導入する。 (C2) ビデオは力情報を持たないため、再構成された軌道の厳密な追跡は動的に不可能であり、エラー駆動型初期化は不可能な空中ポーズからポリシーを再起動し続ける。 物理駆動型擬似低運動エネルギーサンプリング(LKE: pseudo-low-kinetic-Eergy)を導入し、このような参照を学習可能にする中心的なメカニズムを紹介した。 (C3) 最後に、ビデオの動きを追跡するのと同じポリシーの中で、障害の拒絶や転倒の回復を学習し、リカバリ基準データや手動モードの切り替えを必要としないダイレクトトレーニングパラダイムを導入する。 ヒューマノイドロボットでは、KABはビデオからダイナミックスキルを学び、任意のフォールから約0.7秒で回復する。 統一政策に関するアブレーションは、そのコンポーネントの必要性を確認し、ビデオデータの修復と補償は、より多くのものを集めるだけでなく、ハイダイナミックなヒューマノイドスキルを解き放つ、という見解を支持している。

関連論文リスト

• FlowHMR: Physically Plausible Motion Capture from Video [33.70212521799733]
  FlowHMRは、モノクロビデオから物理的に可視なグローバルな3Dモーションを回復するためのフレームワークである。 従来の学習ベースの手法は、通常、ビデオから直接人間の動きを後退させ、幾何学的な監督でネットワークを訓練する。 約4Kのインターネットビデオの大規模で多様なデータセットであるWild-4Kを導入し、野生での人間の動きの回復を評価する。
  論文  参考訳（メタデータ） (2026-10-02T17:52:48Z)
• SIFT: Self-Imagination Fine-Tuning for Physically Plausible Motion in Video Diffusion Models [53.82339966194578]
  動きの絡み合い(英: Motion entanglement)は、カメラの動きや物体の動きのような独立した動き源の意図しない結合である。 本稿では,自作ビデオから学習できるSIFT(Self-Imagination Fine-Tuning)パラダイムを提案する。
  論文  参考訳（メタデータ） (2026-06-26T05:39:40Z)
• PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation [75.96085587438279]
  既存のビデオ報酬は主に2D知覚信号に依存しており、3Dの身体状態、接触状態、人間の関節の動きに基づくダイナミクスを明示的にモデル化する必要はない。 物理シミュレータにおける3次元人体軌道の復元を基礎とした構造的,きめ細かな運動報酬であるPhyMotionを提案し,運動の質を多次元の物理的実現性に沿って評価する。 実験により、PhyMotionは既存の報酬の定式化よりも人間の判断と強い相関性が得られることが示された。
  論文  参考訳（メタデータ） (2026-05-14T02:12:13Z)
• A Kung Fu Athlete Bot That Can Do It All Day: Highly Dynamic, Balance-Challenging Motion Dataset and Autonomous Fall-Resilient Tracking [5.968082051565195]
  武道の特徴は、急激な中心シフト、複雑な調整、急激な姿勢転換である。 KungFuAthleteは、プロアスリートの日々のトレーニングビデオから派生した、ハイダイナミックな武道運動データセットである。 本研究では,高ダイナミックなモーショントラッキングとフォールリカバリを共同で学習できる新しいトレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-02-14T07:49:56Z)
• From Generated Human Videos to Physically Plausible Robot Trajectories [103.28274349461607]
  ビデオ生成モデルは、人間のアクションを新しい文脈で合成する能力が急速に向上している。 この可能性を実現するために、ヒューマノイドはどうやってゼロショットで生成されたビデオから人間の行動を実行することができるのか? この課題は、生成されたビデオがしばしばうるさいので、実際のビデオと比べて直接の模倣を困難にする形態的歪みを示すためである。 我々は,3次元キーポイントに条件付き物理対応強化学習政策であるGenMimicを提案し,対称性の正則化とキーポイント重み付きトラッキング報酬を訓練した。
  論文  参考訳（メタデータ） (2025-12-04T18:56:03Z)
• PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
  物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。 我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。 PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2025-10-02T21:01:11Z)
• Adversarially Robust Video Perception by Seeing Motion [29.814393563282753]
  ビデオモデルの脆弱性の1つの原因は、敵対的摂動下での正しい動きを認識できないことである。 人間の視覚システムにとって、動きが重要な要素であるという広範な証拠に触発され、知覚された動き情報を復元することで、モデルが何を見ているかを修正することを提案する。 我々の研究は、データから本質的な構造を用いることで、ロバストな映像認識アルゴリズムに関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2022-12-13T02:25:33Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。