論文の概要: PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation

• arxiv url: http://arxiv.org/abs/2605.14269v1
• Date: Thu, 14 May 2026 02:12:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.578738
• Title: PhyMotion: Structured 3D Motion Reward for Physics-Grounded Human Video Generation
• Title（参考訳）: PhyMotion:物理画像生成のための構造付き3Dモーションリワード
• Authors: Yidong Huang, Zun Wang, Han Lin, Dong-Ki Kim, Shayegan Omidshafiei, Jaehong Yoon, Jaemin Cho, Yue Zhang, Mohit Bansal,
• Abstract要約: 既存のビデオ報酬は主に2D知覚信号に依存しており、3Dの身体状態、接触状態、人間の関節の動きに基づくダイナミクスを明示的にモデル化する必要はない。 物理シミュレータにおける3次元人体軌道の復元を基礎とした構造的,きめ細かな運動報酬であるPhyMotionを提案し,運動の質を多次元の物理的実現性に沿って評価する。 実験により、PhyMotionは既存の報酬の定式化よりも人間の判断と強い相関性が得られることが示された。
• 参考スコア（独自算出の注目度）: 75.96085587438279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating realistic human motion is a central yet unsolved challenge in video generation. While reinforcement learning (RL)-based post-training has driven recent gains in general video quality, extending it to human motion remains bottlenecked by a reward signal that cannot reliably score motion realism. Existing video rewards primarily rely on 2D perceptual signals, without explicitly modeling the 3D body state, contact, and dynamics underlying articulated human motion, and often assign high scores to videos with floating bodies or physically implausible movements. To address this, we propose PhyMotion, a structured, fine-grained motion reward that grounds recovered 3D human trajectories in a physics simulator and evaluates motion quality along multiple dimensions of physical feasibility. Concretely, we recover SMPL body meshes from generated videos, retarget them onto a humanoid in the MuJoCo physics simulator, and evaluate the resulting motion along three axes: kinematic plausibility, contact and balance consistency, and dynamic feasibility. Each component provides a continuous and interpretable signal tied to a specific aspect of motion quality, allowing the reward to capture which aspects of motion are physically correct or violated. Experiments show that PhyMotion achieves stronger correlation with human judgments than existing reward formulations. These gains carry over to RL-based post-training, where optimizing PhyMotion leads to larger and more consistent improvements than optimizing existing rewards, improving motion realism across both autoregressive and bidirectional video generators under both automatic metrics and blind human evaluation (+68 Elo gain). Ablations show that the three axes provide complementary supervision signals, while the reward preserves overall video generation quality with only modest training overhead.
• Abstract（参考訳）: リアルな人間の動きを生成することは、ビデオ生成において中心的だが未解決の課題である。 強化学習(RL)に基づくポストトレーニングは、一般的なビデオ品質の上昇を招いているが、それを人間の動きに拡張することは、モーションリアリズムを確実に評価できない報酬信号によってボトルネックになっている。 既存のビデオ報酬は、主に2Dの知覚信号に依存しており、3Dの身体状態、接触、人間の関節の動きに基づくダイナミクスを明示的にモデル化せず、しばしば浮動小数点の動画や身体的不明瞭な動きで高得点を割り当てる。 そこで本研究では,物理シミュレータを用いて3次元の人体軌道を復元し,運動の質を多次元の物理的実現性に沿って評価する,構造的,きめ細かな運動報酬であるPhyMotionを提案する。 具体的には、生成されたビデオからSMPLボディーメッシュを復元し、MuJoCo物理学シミュレーターでヒューマノイドに再ターゲティングし、運動性、接触とバランスの整合性、動的実現性という3つの軸に沿った運動を評価する。 各コンポーネントは、運動品質の特定の側面に結びついた連続的かつ解釈可能な信号を提供し、報酬は、運動のどの側面が物理的に正しいか、または違反しているかをキャプチャする。 実験により、PhyMotionは既存の報酬の定式化よりも人間の判断と強い相関性が得られることが示された。 これらの成果は、RLベースのポストトレーニングに続き、PhyMotionの最適化は、既存の報酬の最適化よりも大きく、より一貫した改善をもたらし、自動メトリクスと盲人評価(+68 Elo gain)の両方の下で、自動回帰ビデオジェネレータと双方向ビデオジェネレータの両方でモーションリアリズムを改善する。 アブレーションは、3つの軸が相補的な監視信号を提供することを示しているが、報酬はトレーニングのオーバーヘッドをわずかに抑えながら、全体のビデオ生成品質を保っている。

関連論文リスト

• AnyLift: Scaling Motion Reconstruction from Internet Videos via 2D Diffusion [41.002383749585924]
  インターネットビデオから3次元の人間の動きとHOIを再構成する2次元拡散を利用した2段階フレームワークを提案する。 最初の段階では,インターネットビデオから抽出した2Dキーポイントを利用して,各領域の多視点2Dモーションデータを合成する。 第2段階では、領域固有の合成データに基づいて、カメラ条件のマルチビュー2Dモーション拡散モデルを訓練し、世界空間における3Dモーションと3DHOIを復元する。
  論文  参考訳（メタデータ） (2026-04-20T05:15:38Z)
• PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
  物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。 我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。 PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
  論文  参考訳（メタデータ） (2025-10-02T21:01:11Z)
• A Plug-and-Play Physical Motion Restoration Approach for In-the-Wild High-Difficulty Motions [56.709280823844374]
  動作コンテキストとビデオマスクを利用して、欠陥のある動作を修復するマスクベースの動作補正モジュール(MCM)を導入する。 また,運動模倣のための事前訓練および適応手法を用いた物理ベースの運動伝達モジュール (PTM) を提案する。 本手法は,高速な移動を含む映像モーションキャプチャ結果を物理的に洗練するためのプラグイン・アンド・プレイモジュールとして設計されている。
  論文  参考訳（メタデータ） (2024-12-23T08:26:00Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Differentiable Dynamics for Articulated 3d Human Motion Reconstruction [29.683633237503116]
  DiffPhyは、映像から3次元の人間の動きを再現する物理モデルである。 モノクロ映像から物理的に可視な3次元動作を正確に再現できることを実証し,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-05-24T17:58:37Z)
• Contact and Human Dynamics from Monocular Video [73.47466545178396]
  既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。 本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-07-22T21:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。