論文の概要: MoST: Motion Style Transformer between Diverse Action Contents
- arxiv url: http://arxiv.org/abs/2403.06225v1
- Date: Sun, 10 Mar 2024 14:11:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 07:07:19.842815
- Title: MoST: Motion Style Transformer between Diverse Action Contents
- Title(参考訳): MoST: 各種アクションコンテンツ間のモーションスタイル変換器
- Authors: Boeun Kim, Jungho Kim, Hyung Jin Chang, Jin Young Choi
- Abstract要約: そこで本研究では,コンテンツからスタイルを効果的に切り離し,ソースモーションから転送されたスタイルを持つ可視動作を生成する新しい動き変換器を提案する。
提案手法は既存の手法より優れており,特に異なる内容のモーションペアにおいて,後処理を必要とせず,非常に高品質であることを示す。
- 参考スコア(独自算出の注目度): 25.807817171573184
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While existing motion style transfer methods are effective between two
motions with identical content, their performance significantly diminishes when
transferring style between motions with different contents. This challenge lies
in the lack of clear separation between content and style of a motion. To
tackle this challenge, we propose a novel motion style transformer that
effectively disentangles style from content and generates a plausible motion
with transferred style from a source motion. Our distinctive approach to
achieving the goal of disentanglement is twofold: (1) a new architecture for
motion style transformer with 'part-attentive style modulator across body
parts' and 'Siamese encoders that encode style and content features
separately'; (2) style disentanglement loss. Our method outperforms existing
methods and demonstrates exceptionally high quality, particularly in motion
pairs with different contents, without the need for heuristic post-processing.
Codes are available at https://github.com/Boeun-Kim/MoST.
- Abstract(参考訳): 既存の動作スタイルの転送手法は同一内容の2つの動作間で有効であるが、異なる内容の動作間での動作スタイルの転送では性能が著しく低下する。
この課題は、動作の内容とスタイルを明確に分離することの欠如にある。
そこで本研究では,コンテンツからスタイルを効果的に切り離し,ソース動作から転送されたスタイルで再現可能な動作を生成する,新しいモーションスタイルトランスを提案する。
対角化目標を達成するための特異なアプローチとして,(1)「身体部位にまたがる部分対応型変調器」と「スタイルとコンテンツ特徴を別々にエンコードするシアンエンコーダ」を備えたモーションスタイルトランスの新たなアーキテクチャ,(2)対角化損失の2つがある。
提案手法は, ヒューリスティックなポストプロセッシングを必要とせず, 既存の手法を上回り, 特に異なる内容の動作ペアにおいて, 極めて高い品質を示す。
コードはhttps://github.com/Boeun-Kim/MoSTで入手できる。
関連論文リスト
- Generative Human Motion Stylization in Latent Space [42.831468727082694]
単一動作(遅延)符号の多種多様なスタイリング結果を生成する新しい生成モデルを提案する。
推論では、ユーザーは参照動作やラベルからスタイルキューを使用して動きをスタイル化することができる。
提案手法は, 軽量な設計にもかかわらず, スタイル再現, コンテンツ保存, 一般化において, 最先端のスタイリングモデルよりも優れていた。
論文 参考訳(メタデータ) (2024-01-24T14:53:13Z) - MotionCrafter: One-Shot Motion Customization of Diffusion Models [66.44642854791807]
ワンショットのインスタンス誘導モーションカスタマイズ手法であるMotionCrafterを紹介する。
MotionCrafterは、基準運動をベースモデルの時間成分に注入する並列時空間アーキテクチャを採用している。
トレーニング中、凍結ベースモデルは外見の正規化を提供し、運動から効果的に外見を分離する。
論文 参考訳(メタデータ) (2023-12-08T16:31:04Z) - VMC: Video Motion Customization using Temporal Attention Adaption for
Text-to-Video Diffusion Models [58.93124686141781]
Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。
本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。
実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-12-01T06:50:11Z) - Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot
Artistic Style Transfer [83.1333306079676]
本稿では,スタイル転送に特化した新しいトランスフォーマーモデルであるemphMasterを考案する。
提案モデルでは, 異なるトランスフォーマー層が共通のパラメータ群を共有し, 1) パラメータの総数を減らし, (2) より堅牢なトレーニング収束をもたらし, (3) は容易にスタイリングの程度を制御できる。
実験では、ゼロショットと少数ショットスタイルの転送設定の両方でMasterの優位性を示す。
論文 参考訳(メタデータ) (2023-04-24T04:46:39Z) - Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。
本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。
我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
論文 参考訳(メタデータ) (2023-02-22T11:42:44Z) - Style-ERD: Responsive and Coherent Online Motion Style Transfer [13.15016322155052]
スタイル転送はキャラクターアニメーションを豊かにする一般的な方法である。
動きをオンラインでスタイル化するための新しいスタイル転送モデルであるStyle-ERDを提案する。
本手法は,動作を複数のターゲットスタイルに統一したモデルでスタイリングする。
論文 参考訳(メタデータ) (2022-03-04T21:12:09Z) - Motion Puzzle: Arbitrary Motion Style Transfer by Body Part [6.206196935093063]
モーション・パズル(Motion Puzzle)は、いくつかの重要な点において最先端のモーション・スタイル・トランスファー・ネットワークである。
本フレームワークは,異なる身体部位に対する複数のスタイル動作からスタイル特徴を抽出し,対象身体部位に局所的に伝達する。
フラッピングやスタッガーのようなダイナミックな動きによって表現されるスタイルを、以前の作品よりもはるかに良く捉えることができる。
論文 参考訳(メタデータ) (2022-02-10T19:56:46Z) - StyTr^2: Unbiased Image Style Transfer with Transformers [59.34108877969477]
イメージスタイル転送の目的は、オリジナルコンテンツを維持しながら、スタイル参照によってガイドされた芸術的特徴を持つ画像をレンダリングすることである。
従来のニューラルスタイルの転送法は通常バイアスを受けており、コンテントリークは、同じ参照画像でスタイル転送プロセスの何回かの実行によって観察することができる。
我々は、この重要な問題に対処するために、トランスフォーマーベースのアプローチ、すなわちStyTr2を提案する。
論文 参考訳(メタデータ) (2021-05-30T15:57:09Z) - Unpaired Motion Style Transfer from Video to Animation [74.15550388701833]
1つのアニメーションクリップからもう1つのアニメーションクリップへモーションスタイルを転送する一方で、後者のモーションコンテンツを保存することは、キャラクターアニメーションにおいて長年の課題であった。
本稿では,スタイルラベル付き動きの集合から学習する動きスタイル伝達のための新しいデータ駆動フレームワークを提案する。
本フレームワークでは,映像から直接動作スタイルを抽出し,3次元再構成をバイパスし,これらを3次元入力動作に適用することができる。
論文 参考訳(メタデータ) (2020-05-12T13:21:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。