論文の概要: Compact Motion Embeddings for Feed-forward Unified Human Animation

• arxiv url: http://arxiv.org/abs/2611.07481v1
• Date: Thu, 05 Nov 2026 05:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.557454
• Title: Compact Motion Embeddings for Feed-forward Unified Human Animation
• Title（参考訳）: フィードフォワード統一アニメーションのためのコンパクトモーション埋め込み
• Abstract要約: 本稿では,人間全体のコンパクトな動き埋め込みを学習するリアルタイムフィードフォワードトランスであるFUHAについて述べる。 対照的な新しい損失は、ドライバーのレンダリングされたキーポイント画像のモーション埋め込みに向かって引きずり出し、同じ人物の他のポーズから遠ざかる。 検索キーとして、モーション埋め込みは、学習した10個の視覚エンコーダのグローバル埋め込みよりも、ボディにマッチする。
• 参考スコア（独自算出の注目度）: 34.43776371986083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Animating a reference image with a driver's motion requires a motion representation that captures face, hand, and body articulation but excludes the driver's appearance. Most body animation methods take motion from external pose estimators and render it with many denoising steps; compact learned motion representations mostly cover the face. We present FUHA, a real-time-capable feed-forward transformer that learns a compact motion embedding of the whole human and uses it for face, upper-body, and full-body animation. A Q-Former compresses the driver's features from a frozen visual encoder into this embedding. To disentangle motion from appearance, a novel contrastive loss pulls it toward the motion embedding of the driver's rendered keypoint image and away from that of the same person in another pose. At inference time, FUHA needs no external pose estimators, keypoints, or parametric body models. As a retrieval key, the motion embedding matches body pose better than the learned global embeddings of ten vision encoders. Its same-person retrieval rate is 0.1%, against 9.5% for its own DINOv3 backbone. On our upper-body benchmark, FUHA outperforms all baselines on every self-reenactment metric and on cross-reenactment identity similarity. It is competitive on face and full-body and runs at up to 38.9 FPS at 512x512 on a single RTX 4090.
• Abstract（参考訳）: 参照画像をドライバーの動きでアニメーションするには、顔、手、体調をキャプチャするが、ドライバーの外観を除外する動作表現が必要である。 ほとんどのボディアニメーション法は、外部のポーズ推定器から動きを抽出し、多くのデノゲーションステップでレンダリングする。 本研究では,人間の顔,上半身,全身のアニメーションにコンパクトな動き埋め込みを学習するリアルタイムフィードフォワードトランスフォーマーFUHAを提案する。 Q-Formerは、凍結したビジュアルエンコーダからドライバの機能をこの埋め込みに圧縮する。 外観から動きを遠ざけるために、新しいコントラスト損失は、運転者のレンダリングされたキーポイント画像の動作埋め込みに向かって引きずり出し、別のポーズで同一者の動きから遠ざかる。 推測時に、FUHAは外部のポーズ推定器、キーポイント、パラメトリックボディモデルを必要としない。 検索キーとして、モーション埋め込みは、学習した10個の視覚エンコーダのグローバル埋め込みよりも、ボディにマッチする。 同名の検索率は0.1%であり、DINOv3のバックボーンは9.5%である。 上半身のベンチマークでは、FUHAはすべての自己再現の指標と相互再現のアイデンティティ類似性において、すべてのベースラインを上回ります。 顔と全身では競争力があり、RTX 4090では最大38.9 FPSで512x512で走る。

関連論文リスト

• FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint [49.80464592726769]
  本研究では,映像拡散方式であるFacterPortraitを紹介する。 本手法は,運転映像から顔の表情や頭部の動きを移動させることにより,像を識別する。 提案手法は, 現実主義, 表現性, 制御精度, 視点整合性において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-12T15:22:52Z)
• Attention-Based VR Facial Animation with Visual Mouth Camera Guidance for Immersive Telepresence Avatars [19.70403947793871]
  本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。 提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。 我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
  論文  参考訳（メタデータ） (2023-12-15T12:45:11Z)
• SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data [1.494051815405093]
  SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。 このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。 本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T18:48:01Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [44.58519508310171]
  我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。 提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
  論文  参考訳（メタデータ） (2022-01-11T18:51:21Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。