論文の概要: RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation
- arxiv url: http://arxiv.org/abs/2608.28219v1
- Date: Fri, 28 Aug 2026 11:36:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 17:16:04.303361
- Title: RASA: Disentangled Spatial-Motional Priors for Cross-Identity Character Animation
- Title（参考訳）: RASA: クロス・アイデンティティ・キャラクタ・アニメーションのための空間移動プリミティブ
- Abstract要約: クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。
本稿では,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA)を紹介する。
我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
- 参考スコア（独自算出の注目度）: 85.41886214825894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-identity character animation aims to drive a target identity from a reference image to follow the motion of a source character from a driving video. The core challenge lies in the inherent entanglement of two capabilities: cross-identity spatial mapping (aligning position, scale, and skeletal proportions) and motion control (refining joint articulation, volumetric consistency, and view coherence). We introduce Reference-Aware Structural Alignment (RASA), a framework that disentangles spatial mapping from motion control by injecting structured priors into a Diffusion Transformer (DiT). Our approach has two stages. First, a Spatial Prior Calibrator (SPC) fuses reference identity with driving pose to generate a spatially grounded initial noise latent, ensuring correct positioning, scaling, and alignment with the driving skeleton. Second, an Inherent Motional Guider (IMG) encodes shape-agnostic SMPL articulation parameters into a semantic motion vector beyond appearance-biased 2D keypoints. Injected into intermediate DiT layers, this vector complements the base pose condition for anatomically consistent articulation and view-aware volumetric refinement. We curate CIM-Bench, a high-quality benchmark with rigorous curation, for evaluation. Extensive experiments show RASA significantly outperforms state-of-the-art methods in motion fidelity and visual quality. Our work establishes a new paradigm showing disentangled spatial and motional priors are key to robust character animation. Project page: https://hidream.ai.github.io/RASA/
- Abstract（参考訳）: クロスアイデンティティキャラクタアニメーションは、基準画像からターゲットアイデンティティを駆動し、駆動ビデオからソースキャラクタの動きに従うことを目的としている。
中心となる課題は、クロスアイデンティティ空間マッピング(位置、スケール、骨格比)とモーションコントロール(関節関節、容積整合性、ビューコヒーレンス)という2つの機能の本質的な絡み合いにある。
本稿では,Diffusion Transformer (DiT) に事前構造を注入することにより,移動制御から空間マッピングを分離するフレームワークであるReference-Aware Structure Alignment (RASA) を紹介する。
私たちのアプローチには2つの段階があります。
第一に、空間優先校正器(SPC)は、基準IDを駆動ポーズと融合させ、空間的に接地された初期雑音を発生させ、正確な位置決め、スケーリング、および駆動骨格との整合性を確保する。
第二に、Inherent Motional Guider (IMG)は、形状に依存しないSMPL調音パラメータを、外観バイアスの2Dキーポイントを超えた意味的な動きベクトルに符号化する。
中間的なDiT層に注入されたこのベクトルは、解剖学的に一貫した調音とビューアウェアのボリューム改善のための基本ポーズ条件を補完する。
厳格なキュレーションを備えた高品質なベンチマークであるCIM-Benchを評価のためにキュレートする。
広汎な実験により、RASは動きの忠実さと視覚的品質において最先端の手法を著しく上回っている。
我々の研究は、不整合空間と動きの先行がロバストなキャラクターアニメーションの鍵となることを示す新しいパラダイムを確立する。
プロジェクトページ:https://hidream.ai.github.io/RASA/
関連論文リスト
- OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention [0.4790056963046066]
制御可能なビデオ生成は、カメラと被写体の独立的なコマンドを要求する。
OrthoMotionは、カメラの動きを幾何学的チャネル、回転位置埋め込み(RoPE)フェーズの標準保存回転、主題の動きを意味的なチャネルにルーティングする。
私たちの知る限りでは、OrthoMotionは建設による混乱を保証する最初の方法です。
論文 参考訳（メタデータ） (2026-06-22T04:15:14Z) - MoCapAnything V2: End-to-End Motion Capture for Arbitrary Skeletons [56.68975315643491]
本稿では,ビデオ・ツー・ローテーションとビデオ・ツー・ローテーションを共同で学習し,最適化する,最初のエンドツーエンドフレームワークを提案する。
本手法は, メッシュベースパイプラインの20倍の速度で, 回転誤差を17度から10度, 見えない骨格では6.54度に低減する。
論文 参考訳（メタデータ） (2026-04-30T17:16:38Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳（メタデータ） (2026-04-19T21:21:11Z) - AG-EgoPose: Leveraging Action-Guided Motion and Kinematic Joint Encoding for Egocentric 3D Pose Estimation [11.399976049695212]
AG-EgoPoseは、短距離と長距離の動作コンテキストときめ細かい空間的手がかりを統合して、ロバストなポーズ推定を行う新しいデュアルストリームフレームワークである。
空間ストリームは、重量共有型ResNet-18エンコーダデコーダを用いて、2次元ジョイントヒートマップを生成する。
時間ストリームはResNet-50バックボーンを使用して視覚的特徴を抽出し、アクション認識バックボーンによって処理され、モーションダイナミクスをキャプチャする。
論文 参考訳（メタデータ） (2026-03-26T08:46:51Z) - Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。
既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。
単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-12T10:02:23Z) - DreamActor-M2: Universal Character Image Animation via Spatiotemporal In-Context Learning [24.808926786222376]
本研究では,DreamActor-M2を提案する。DreamActor-M2は,動作条件をコンテキスト内学習問題として再定義する汎用アニメーションフレームワークである。
まず、参照の出現と動きの手がかりを統一された潜在空間に融合させることにより、入力モダリティギャップを橋渡しする。
次に、擬似的クロスアイデンティティトレーニングペアをキュレートする自己ブートストラップデータ合成パイプラインを導入する。
論文 参考訳（メタデータ） (2026-01-29T13:43:17Z) - STANCE: Motion Coherent Video Generation Via Sparse-to-Dense Anchored Encoding [31.38893861328115]
映像生成は近年目覚ましい進歩を遂げているが、コヒーレントな物体の動きと相互作用を維持することは依然として困難である。
両問題に2つの簡単なコンポーネントで対処する画像とビデオのフレームワークであるSTANCEを提示する。
論文 参考訳（メタデータ） (2025-10-16T11:50:38Z) - Learning Spatial Decay for Vision Transformers [50.63391799053993]
視覚変換器(ViT)はコンピュータビジョンに革命をもたらしたが、その自己認識機構には明らかに空間誘導バイアスがない。
既存のアプローチでは、固定距離メトリクスに基づくデータ非依存の空間減衰が導入されている。
データ依存型空間減衰の2次元視覚変換器への適応が最初に成功した例を示す。
論文 参考訳（メタデータ） (2025-08-13T06:18:32Z) - SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes [32.324844649352166]
アニメーション再ターゲッティングはキャラクタメッシュにスパース動作記述を適用し、意味論的に妥当で時間的に整合したフルボディシーケンスを生成する。
本稿では,スパース動作表現のみを訓練した自己教師型運動場(SMF)を提案する。
我々のアーキテクチャは、エンドツーエンドで共同で訓練された専用空間勾配予測器と時間勾配予測器から構成される。
論文 参考訳（メタデータ） (2025-04-07T08:42:52Z) - DynamiCtrl: Rethinking the Basic Structure and the Role of Text for High-quality Human Image Animation [63.781450025764904]
ビデオDiTアーキテクチャにおける人間のアニメーションのための新しいフレームワークであるDynamiCtrlを提案する。
我々は、人間の画像や運転ポーズに共有のVAEエンコーダを使用し、それらを共通の潜在空間に統一する。
また、グローバルな意味的コンテキストを提供するために、テキスト埋め込みの役割を保ちながら、"Joint-text"パラダイムも導入する。
論文 参考訳（メタデータ） (2025-03-27T08:07:45Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action Recognition [50.064502884594376]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-03-31T16:19:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。