論文の概要: Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs

• arxiv url: http://arxiv.org/abs/2610.28632v1
• Date: Tue, 20 Oct 2026 17:59:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.983159
• Title: Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
• Title（参考訳）: 関節, カメラ, アクション! 任意タグのための3Dモーションとビデオの同時生成
• Abstract要約: 本稿では,映像と3Dモーションを直接生成するモデルと,映像をシーンに登録するカメラを提案する。 代わりに、任意のスケルトンをサポートする別のモデルに3Dモーションを保存し、小さなクロスアテンション層を通して事前訓練されたビデオモデルに接続する。
• 参考スコア（独自算出の注目度）: 67.40578439541324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video generation models can now depict remarkably realistic motion. Yet it is unclear how to use this motion beyond pixels: to animate a specific 3D asset and replay the animation in its 3D scene. For instance, a video model can show a monkey jumping over a crossbar, but it cannot return that jump as replayable 3D motion placed in the 3D scene. Here we present a model that directly co-generates the video and 3D motion for any supplied rig, along with a camera that registers this motion to the scene. Prior video-motion models either handle only human skeletons, often adding billions of parameters, or triangulate 3D motion from generated 2D pose maps. We instead keep 3D motion in a separate model that supports arbitrary skeletons, and connect it to a pretrained video model through a small set of cross-attention layers. This separation lets the motion model first learn how skeletons move from motion-only data, which is easier to obtain and augment than paired video. Additionally, our model learns to locate each joint in the video frames, which lets us recover the camera and place the 3D motion in the scene. To train across many skeletons, we use a generative video editor to place animated 3D assets in scenes suited to their actions, curating the edits so their known motion remains valid. Together with human and robot video, this yields nearly 200K training pairs. Our evaluations demonstrate that our model animates diverse rigs from text more faithfully than video-first pipelines, and its motion responds to the surrounding scene. It also turns video into rig motion, rig motion into video, and enables keyframe-based control of the 3D motion. Videos and additional results are available on our project page: https://research.nvidia.com/labs/par/projects/jca/.
• Abstract（参考訳）: ビデオ生成モデルは、驚くほどリアルな動きを表現できるようになった。 特定の3Dアセットをアニメーション化し、アニメーションをその3Dシーンで再生する。 例えば、ビデオモデルは、サルがクロスバーを飛び越える様子を見せることができるが、3Dシーンに置かれる再生可能な3Dモーションとして、そのジャンプを返すことはできない。 ここでは,映像と3D映像を直接生成するモデルと,この映像をシーンに登録するカメラを紹介する。 従来のビデオモーションモデルは人間の骨格のみを処理し、数十億のパラメータを追加するか、生成された2Dポーズマップから3Dモーションを三角測量する。 代わりに、任意のスケルトンをサポートする別のモデルに3Dモーションを保存し、少数のクロスアテンション層を通して事前訓練されたビデオモデルに接続する。 この分離により、モーションモデルはまず、骨格がモーションのみのデータからどのように動くかを学ぶことができる。 さらに、ビデオフレーム内の各関節の位置を学習することで、カメラを回復し、シーンに3Dモーションを配置することができる。 多くのスケルトンをトレーニングするために、生成ビデオエディタを使用して、アニメーション化された3Dアセットをアクションに適したシーンに配置し、編集をキュレートして、既知の動作が有効であるようにします。 人間とロボットのビデオと合わせて、200万近いトレーニングペアが得られる。 私たちのモデルでは,ビデオファーストパイプラインよりもテキストから多種多様なリグを抽出し,その動きが周囲のシーンに反応することを示す。 また、動画をリグモーション、リグモーションをビデオに変え、キーフレームによる3Dモーションの制御を可能にする。 ビデオと追加の結果は、プロジェクトのページ(https://research.nvidia.com/labs/par/projects/jca/)で公開されています。

関連論文リスト

• Kirin: Animal Motion Generation from In-the-Wild Video [40.9434764171182]
  キリン(きりん)は、動画から動きを再構築し、大規模に動きの先行を学習し、アニメーションの資産に直接適用可能な現実的な動きを生成する枠組みである。 AiM3Dは、四足動物向けのビデオテキスト移動を提供する最初の大規模データセットである。 市販のイメージ・トゥ・3Dモデルを利用することで、生成した動きを用いて3Dメッシュを自動的にリグ・アニメーションし、準備の整ったアニメーション動物を生成する。
  論文  参考訳（メタデータ） (2026-09-01T19:56:15Z)
• DIMO: Diverse 3D Motion Generation for Arbitrary Objects [57.14954351767432]
  DIMOは、単一の画像から任意のオブジェクトに対して多様な3Dモーションを生成することができる生成的アプローチである。 我々は、よく訓練されたビデオモデルにおけるリッチな事前情報を利用して、共通の動きパターンを抽出する。 学習した潜時空間での推論時間の間、単方向パスで様々な3次元運動を瞬時にサンプリングすることができる。
  論文  参考訳（メタデータ） (2025-11-10T18:56:49Z)
• AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models [24.410731608387238]
  AnimaXは、ビデオ拡散モデルの動作先をスケルトンベースのアニメーションの制御可能な構造でブリッジするフィードフォワード3Dアニメーションフレームワークである。 提案手法は,マルチビュー・マルチフレーム2次元ポーズマップとして3次元動作を表現する。
  論文  参考訳（メタデータ） (2025-06-24T17:59:58Z)
• Recovering Dynamic 3D Sketches from Videos [30.87733869892925]
  Liv3Strokeは、変形可能な3Dストロークで動作中のオブジェクトを抽象化する新しいアプローチである。 まず,映像フレームから3Dポイント・クラウド・モーション・ガイダンスを意味的特徴を用いて抽出する。 提案手法は, 自然な3次元表現の集合として本質的な運動特徴を抽象化する曲線の集合を変形する。
  論文  参考訳（メタデータ） (2025-03-26T08:43:21Z)
• Gaussians-to-Life: Text-Driven Animation of 3D Gaussian Splatting Scenes [49.26872036160368]
  ガウススティング表現における高品質な3Dシーンの一部をアニメーションする手法を提案する。 従来の作業とは対照的に、複雑な既存の3Dシーンのリアルなアニメーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-28T16:01:58Z)
• Generating Continual Human Motion in Diverse 3D Scenes [51.90506920301473]
  本研究では,3次元シーンにまたがる人間の動きを誘導するアニメーターを合成する手法を提案する。 本研究では,連続的な動作合成問題を経路に沿って歩行し,キーポイントが指定した動作の内外への遷移に分解する。 我々のモデルは、つかんだり、座ったり、傾いたりといった多様な行動の長いシーケンスを生成することができる。
  論文  参考訳（メタデータ） (2023-04-04T18:24:22Z)
• Unsupervised Volumetric Animation [54.52012366520807]
  非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。 本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。 我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。