論文の概要: Improving Facial Rig Semantics for Tracking and Retargeting

• arxiv url: http://arxiv.org/abs/2508.08429v1
• Date: Mon, 11 Aug 2025 19:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.215819
• Title: Improving Facial Rig Semantics for Tracking and Retargeting
• Title（参考訳）: 顔のリグセマンティックスの改善と追跡・再ターゲティング
• Authors: Dalton Omens, Allise Thurman, Jihun Yu, Ronald Fedkiw,
• Abstract要約: トラッキングされた顔のパフォーマンスは、ゲームやバーチャルリアリティ(VR)環境において、他者または仮想キャラクタに対して考慮する。 我々は、顔のリグをパフォーマーとターゲットの両方に合わせるために、モーフィングを利用する。 慎重に選択されたSimon-Says式は、各リグの校正に使用される。
• 参考スコア（独自算出の注目度）: 1.4613744540785565
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we consider retargeting a tracked facial performance to either another person or to a virtual character in a game or virtual reality (VR) environment. We remove the difficulties associated with identifying and retargeting the semantics of one rig framework to another by utilizing the same framework (3DMM, FLAME, MetaHuman, etc.) for both subjects. Although this does not constrain the choice of framework when retargeting from one person to another, it does force the tracker to use the game/VR character rig when retargeting to a game/VR character. We utilize volumetric morphing in order to fit facial rigs to both performers and targets; in addition, a carefully chosen set of Simon-Says expressions is used to calibrate each rig to the motion signatures of the relevant performer or target. Although a uniform set of Simon-Says expressions can likely be used for all person to person retargeting, we argue that person to game/VR character retargeting benefits from Simon-Says expressions that capture the distinct motion signature of the game/VR character rig. The Simon-Says calibrated rigs tend to produce the desired expressions when exercising animation controls (as expected). Unfortunately, these well-calibrated rigs still lead to undesirable controls when tracking a performance (a well-behaved function can have an arbitrarily ill-conditioned inverse), even though they typically produce acceptable geometry reconstructions. Thus, we propose a fine-tuning approach that modifies the rig used by the tracker in order to promote the output of more semantically meaningful animation controls, facilitating high efficacy retargeting. In order to better address real-world scenarios, the fine-tuning relies on implicit differentiation so that the tracker can be treated as a (potentially non-differentiable) black box.
• Abstract（参考訳）: 本稿では、トラッキングされた顔のパフォーマンスを、ゲームやバーチャルリアリティ(VR)環境において、他者または仮想キャラクタに再ターゲティングすることを検討する。 我々は,同一のフレームワーク(3DMM,FLAME,MetaHumanなど)を両被験者に利用することで,一つのフレームワークのセマンティクスを識別・再ターゲティングする難しさを解消する。 これは、ある人物から別の人物に再ターゲティングする際にフレームワークの選択を制限しないが、ゲーム/VRキャラクタにリターゲティングする際には、トラッカーにゲーム/VRキャラクタリグの使用を強制する。 我々は,パフォーマーとターゲットの両方に顔リグを合わせるために,ボリュームモーフィングを利用する。さらに,慎重に選択されたSimon-Says式を用いて,各リグを関連するパフォーマーやターゲットの動作シグに調整する。 Simon-Says式の一様集合は、人から人へのリターゲティングに利用することができるが、ゲーム/VRキャラクタリグの異なるモーションシグネチャをキャプチャするSimon-Says式から、ゲーム/VRキャラクタリターゲティングのメリットを享受できると主張する。 Simon-Saysキャリブレーションされたリグは、アニメーションコントロールを(予想通り)実行する際に望ましい表現を生成する傾向がある。 残念なことに、これらのよく校正されたリグは、通常は許容可能な幾何再構成を生成するにもかかわらず、パフォーマンスを追跡する際には、いまだ望ましくない制御をもたらす。 そこで本研究では,より意味論的に意味のあるアニメーション制御の出力を促進するために,トラッカーが使用するリグを微調整することで,高効率なリターゲティングを実現する手法を提案する。 現実世界のシナリオを改善するために、微調整は暗黙の区別に依存し、トラッカーを(潜在的に差別化不可能な)ブラックボックスとして扱うことができる。

関連論文リスト

• Physics-based Scene Layout Generation from Human Motion [21.939444709132395]
  本研究では、シーンレイアウト生成を同時に最適化し、物理シミュレータで動く人間をシミュレートする物理に基づくアプローチを提案する。 我々は、強化学習を用いて、キャラクタ動作模倣コントローラとシーンレイアウトジェネレータの両方の二重最適化を行う。 提案手法は,SAMPとPROXの動作を用いて評価し,従来のキネマティクス法と比較して,物理的に妥当なシーンレイアウトの再構築を示す。
  論文  参考訳（メタデータ） (2024-05-21T02:36:37Z)
• Human-Centric Goal Reasoning with Ripple-Down Rules [1.7874338080799543]
  ActorSimは海軍研究所で開発された目標推論フレームワークである。 この作業は、ActorSimを拡張して、人間のトレーナーがシステムによる決定に異議を唱えたときに、デモンストレーションによって学習する能力を提供する。 学習コンポーネントは、Ripple-Down Rules(RDR)を使用して、将来同様のケースを正しく扱うために、新たな決定ルールを構築する。
  論文  参考訳（メタデータ） (2024-01-30T07:52:38Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors [69.75711933065378]
  ヘッドセットとコントローラーのポーズは,高度に制約された環境においても,現実的なフルボディのポーズを生成可能であることを示す。 本稿では,環境表現,接触報酬,シーンランダム化の3つの特徴について論じる。
  論文  参考訳（メタデータ） (2023-06-09T04:40:38Z)
• MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
  そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。 モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
  論文  参考訳（メタデータ） (2021-12-19T07:52:05Z)
• Recovering and Simulating Pedestrians in the Wild [81.38135735146015]
  本研究では,自動車の走行によって野生で捕獲されたセンサから歩行者の形状と動きを復元することを提案する。 再建された歩行者資産銀行をリアルな3Dシミュレーションシステムに組み込む。 シミュレーションしたLiDARデータを用いて,視覚知覚タスクに必要な実世界のデータ量を大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2020-11-16T17:16:32Z)
• Learning to Simulate Dynamic Environments with GameGAN [109.25308647431952]
  本稿では,エージェントが環境と対話するのを見ることでシミュレーターを学習することを目的とする。 ゲームGANは,学習中にスクリーンプレイやキーボード操作を取り入れることで,所望のゲームを視覚的に模倣することを学習する生成モデルである。
  論文  参考訳（メタデータ） (2020-05-25T14:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。