論文の概要: MOCHA: Real-Time Motion Characterization via Context Matching

• arxiv url: http://arxiv.org/abs/2310.10079v1
• Date: Mon, 16 Oct 2023 05:21:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 16:18:15.509760
• Title: MOCHA: Real-Time Motion Characterization via Context Matching
• Title（参考訳）: MOCHA:コンテキストマッチングによるリアルタイムモーションキャラクタリゼーション
• Authors: Deok-Kyeong Jang, Yuting Ye, Jungdam Won, Sung-Hee Lee
• Abstract要約: MOCHAは、ターゲットキャラクタから入力ソースモーションに動作スタイルと身体比の両方を転送する、新しいオンラインモーションキャラクタリゼーションフレームワークである。 本フレームワークは,スパース入力のみによるキャラクタリゼーションやリアルタイムなキャラクタリゼーションなど,さまざまなアプリケーションに容易に対応できる。
• 参考スコア（独自算出の注目度）: 18.56121622774847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transforming neutral, characterless input motions to embody the distinct style of a notable character in real time is highly compelling for character animation. This paper introduces MOCHA, a novel online motion characterization framework that transfers both motion styles and body proportions from a target character to an input source motion. MOCHA begins by encoding the input motion into a motion feature that structures the body part topology and captures motion dependencies for effective characterization. Central to our framework is the Neural Context Matcher, which generates a motion feature for the target character with the most similar context to the input motion feature. The conditioned autoregressive model of the Neural Context Matcher can produce temporally coherent character features in each time frame. To generate the final characterized pose, our Characterizer network incorporates the characteristic aspects of the target motion feature into the input motion feature while preserving its context. This is achieved through a transformer model that introduces the adaptive instance normalization and context mapping-based cross-attention, effectively injecting the character feature into the source feature. We validate the performance of our framework through comparisons with prior work and an ablation study. Our framework can easily accommodate various applications, including characterization with only sparse input and real-time characterization. Additionally, we contribute a high-quality motion dataset comprising six different characters performing a range of motions, which can serve as a valuable resource for future research.
• Abstract（参考訳）: 中性でキャラクタレスな入力動作をリアルタイムで注目すべきキャラクタの異なるスタイルを具現化する変換は、キャラクタアニメーションにとって非常に魅力的なものです。 そこで,本論文では,対象キャラクターから入力源モーションへ動作スタイルと身体比の両方を転送する,新しいオンラインモーションキャラクタリゼーションフレームワークMOCHAを紹介する。 MOCHAは、入力された動きを、身体部分のトポロジーを構造化し、効果的なキャラクタリゼーションのために動きの依存関係をキャプチャするモーション特徴に符号化することから始まる。 我々のフレームワークの中心はNeural Context Matcherであり、入力された動き特徴に最もよく似たコンテキストを持つターゲットキャラクタの動作特徴を生成する。 ニューラルコンテキストマッチングの条件付き自己回帰モデルでは、時間フレーム毎に時間的コヒーレントな特徴を生成できる。 最終的な特徴的ポーズを生成するために,我々のキャラクタライザネットワークは,そのコンテキストを保ちながら,対象の動作特徴の特徴を入力動作特徴に組み込む。 これは、適応インスタンス正規化とコンテキストマッピングに基づくクロスアテンションを導入するトランスフォーマティブモデルによって実現され、ソース機能にキャラクタ機能を効果的に注入する。 先行研究との比較とアブレーション研究を通じて,フレームワークの性能を検証する。 本フレームワークは,スパース入力のみのキャラクタリゼーションやリアルタイムキャラクタリゼーションなど,さまざまなアプリケーションに容易に対応できる。 さらに,様々な動作を行う6つの異なる文字からなる高品質なモーションデータセットをコントリビュートし,今後の研究に有用な資源として活用する。

関連論文リスト

• Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance [30.225654002561512]
  Animate Anyone 2を紹介する。 本研究では,文字と環境の関係をより効果的に特徴づける形状に依存しないマスク戦略を提案する。 また、モデルがより多様な動きパターンを扱えるように、ポーズ変調戦略を導入する。
  論文  参考訳（メタデータ） (2025-02-10T04:20:11Z)
• DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
  テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。 動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:58:22Z)
• Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
  ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。 我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。 実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
  論文  参考訳（メタデータ） (2024-06-05T21:02:10Z)
• MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
  ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。 MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。 トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
  論文  参考訳（メタデータ） (2023-12-08T16:31:04Z)
• SemanticBoost: Elevating Motion Generation with Augmented Textual Cues [73.83255805408126]
  我々のフレームワークはセマンティック・エンハンスメント・モジュールとコンテキスト調整型モーション・デノイザ(CAMD)から構成されている。 CAMDアプローチは、高品質でセマンティックに一貫性のあるモーションシーケンスを生成するための全エンコンパスソリューションを提供する。 実験の結果,SemanticBoostは拡散法として自己回帰法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T09:58:11Z)
• Fine-Grained Spatiotemporal Motion Alignment for Contrastive Video Representation Learning [16.094271750354835]
  モーション情報は、堅牢で一般化されたビデオ表現に不可欠である。 近年の研究では、ビデオコントラスト学習における動き情報の源として、フレーム差が採用されている。 本稿では,適切な動き情報を導入可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-01T07:03:27Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
  人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。 本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。 我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
  論文  参考訳（メタデータ） (2023-02-22T11:42:44Z)
• Text-driven Video Prediction [83.04845684117835]
  テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。 本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。 進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
  論文  参考訳（メタデータ） (2022-10-06T12:43:07Z)
• A Hierarchy-Aware Pose Representation for Deep Character Animation [2.47343886645587]
  深層キャラクタアニメーションに適した動きモデリングのための頑健なポーズ表現を提案する。 我々の表現は、回転方向と位置方向を同時にエンコードする、よく定義された演算を持つ数学的抽象化である二重四元数に基づいている。 我々の表現は共通の動きを克服し、他の一般的な表現と比較してその性能を評価する。
  論文  参考訳（メタデータ） (2021-11-27T14:33:24Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。