論文の概要: Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation

• arxiv url: http://arxiv.org/abs/2603.04302v1
• Date: Wed, 04 Mar 2026 17:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.421904
• Title: Motion Manipulation via Unsupervised Keypoint Positioning in Face Animation
• Title（参考訳）: 顔アニメーションにおける教師なしキーポイント位置決めによる動作操作
• Authors: Hong Li, Boyu Liu, Xuhui Liu, Baochang Zhang,
• Abstract要約: 顔アニメーション(MMFA)における教師なしキーポイント位置決めによる動作操作について述べる。 まず、自己教師付き表現学習を導入し、潜在特徴空間における表現をエンコードし、デコードし、それらを他の動き情報から切り離す。 本研究では,表現特徴を連続的なガウス分布にマッピングするための変分オートエンコーダを設計し,教師なしのフレームワークで初めて表情を補間する。
• 参考スコア（独自算出の注目度）: 22.055073645428738
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Face animation deals with controlling and generating facial features with a wide range of applications. The methods based on unsupervised keypoint positioning can produce realistic and detailed virtual portraits. However, they cannot achieve controllable face generation since the existing keypoint decomposition pipelines fail to fully decouple identity semantics and intertwined motion information (e.g., rotation, translation, and expression). To address these issues, we present a new method, Motion Manipulation via unsupervised keypoint positioning in Face Animation (MMFA). We first introduce self-supervised representation learning to encode and decode expressions in the latent feature space and decouple them from other motion information. Secondly, we propose a new way to compute keypoints aiming to achieve arbitrary motion control. Moreover, we design a variational autoencoder to map expression features to a continuous Gaussian distribution, allowing us for the first time to interpolate facial expressions in an unsupervised framework. We have conducted extensive experiments on publicly available datasets to validate the effectiveness of MMFA, which show that MMFA offers pronounced advantages over prior arts in creating realistic animation and manipulating face motion.
• Abstract（参考訳）: 顔アニメーションは、幅広いアプリケーションで顔の特徴を制御および生成する。 教師なしキーポイント位置決めに基づく手法は、現実的で詳細な仮想ポートレートを生成することができる。 しかし、既存のキーポイント分解パイプラインは、アイデンティティのセマンティクスとインターツウィンドモーション情報(例えば、回転、翻訳、表現)を完全に分離できないため、制御可能な顔生成を実現することはできない。 これらの問題に対処するために、顔アニメーション(MMFA)における教師なしキーポイント位置決めによるモーション操作法を提案する。 まず、自己教師付き表現学習を導入し、潜在特徴空間における表現をエンコードし、デコードし、それらを他の動き情報から切り離す。 次に,任意の動き制御を実現するためのキーポイントの計算手法を提案する。 さらに,表現特徴を連続的なガウス分布にマッピングするための変分オートエンコーダを設計し,教師なしフレームワークで初めて表情を補間する。 我々は、MMFAの有効性を検証するために、公開データセットに関する広範な実験を行い、MMFAは、現実的なアニメーションを作成し、顔の動きを操作することにおいて、先行技術よりも顕著に有利であることを示した。

関連論文リスト

• IM-Animation: An Implicit Motion Representation for Identity-decoupled Character Animation [58.297199313494]
  インプシット法は、動画から直接動作の意味をキャプチャするが、動作と外観の絡み合いやアイデンティティの漏洩に悩まされる。 本稿では,フレームごとの動作をコンパクトな1次元モーショントークンに圧縮する新しい暗黙の動作表現を提案する。 本手法では,3段階のトレーニング戦略を用いて,トレーニング効率を高め,高い忠実性を確保する。
  論文  参考訳（メタデータ） (2026-02-07T11:17:20Z)
• FactorPortrait: Controllable Portrait Animation via Disentangled Expression, Pose, and Viewpoint [49.80464592726769]
  本研究では,映像拡散方式であるFacterPortraitを紹介する。 本手法は,運転映像から顔の表情や頭部の動きを移動させることにより,像を識別する。 提案手法は, 現実主義, 表現性, 制御精度, 視点整合性において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2025-12-12T15:22:52Z)
• SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes [32.324844649352166]
  アニメーション再ターゲッティングはキャラクタメッシュにスパース動作記述を適用し、意味論的に妥当で時間的に整合したフルボディシーケンスを生成する。 本稿では,スパース動作表現のみを訓練した自己教師型運動場(SMF)を提案する。 我々のアーキテクチャは、エンドツーエンドで共同で訓練された専用空間勾配予測器と時間勾配予測器から構成される。
  論文  参考訳（メタデータ） (2025-04-07T08:42:52Z)
• Multi-Keypoint Affordance Representation for Functional Dexterous Grasping [26.961157077703756]
  本稿では,機能的デキスタラスグルーピングのためのマルチキーポイントアプライアンス表現を提案する。 本手法は,機能的接触点の局在化により,タスク駆動型グリップ構成を符号化する。 提案手法は,手頃な局所化精度,一貫性の把握,未知のツールやタスクへの一般化を著しく改善する。
  論文  参考訳（メタデータ） (2025-02-27T11:54:53Z)
• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [79.4785166021062]
  本稿では,対話型ビデオジェネレータPuppet-Masterを紹介した。 Puppet-Masterは、他のモーションコンディショニングビデオジェネレータとは異なり、パートレベルのモーションを生成することを学習している。 Puppet-Masterはドメイン外の実際のイメージを一般化し、実世界のベンチマークで既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention [18.211762995744337]
  本稿では,表現的かつ時間的コヒーレントなポートレートアニメーションを生成するための,革新的な条件拡散モデルであるX-Portraitを提案する。 外観参照として1つのポートレートが与えられた場合、駆動ビデオから得られる動きをアニメーション化し、非常にダイナミックかつ微妙な表情をキャプチャすることを目的としている。 実験により,X-ポートレートの多彩な顔画像および表現力のある運転シーケンスに対する普遍的効果が示された。
  論文  参考訳（メタデータ） (2024-03-23T20:30:28Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
  Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。 物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。 我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
  論文  参考訳（メタデータ） (2022-10-12T11:19:55Z)
• Motion Transformer for Unsupervised Image Animation [37.35527776043379]
  画像アニメーションは、駆動ビデオから学んだ動きを用いて、ソースイメージをアニメーションすることを目的としている。 現在の最先端の手法は、通常、運動情報を予測するために畳み込みニューラルネットワーク(CNN)を使用する。 本稿では,視覚変換器をベースとした動き推定器構築の試みである動き変換器を提案する。
  論文  参考訳（メタデータ） (2022-09-28T12:04:58Z)
• JOKR: Joint Keypoint Representation for Unsupervised Cross-Domain Motion Retargeting [53.28477676794658]
  ビデオにおける教師なしの動作は ディープ・ニューラル・ネットワークによって 大幅に進歩しました JOKR(Joint Keypoint Representation)は、オブジェクトの事前やデータ収集を必要とせずに、ソースとターゲットのビデオの両方を処理する。 本手法は質的かつ定量的に評価し,異なる動物,異なる花,人間など,さまざまなクロスドメインシナリオを扱うことを示す。
  論文  参考訳（メタデータ） (2021-06-17T17:32:32Z)
• Dual In-painting Model for Unsupervised Gaze Correction and Animation in the Wild [82.42401132933462]
  視線角度と頭部ポーズの正確なアノテーションを必要とせずに機能する解を提案する。 我々の手法は3つの新しいモジュールからなる: Gaze Correction Module (GCM)、 Gaze Animation Module (GAM)、 Pretrained Autoencoder Module (PAM)。
  論文  参考訳（メタデータ） (2020-08-09T23:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。