論文の概要: On-the-fly Learning to Transfer Motion Style with Diffusion Models: A Semantic Guidance Approach
- arxiv url: http://arxiv.org/abs/2405.06646v1
- Date: Wed, 20 Mar 2024 05:52:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 10:40:42.716570
- Title: On-the-fly Learning to Transfer Motion Style with Diffusion Models: A Semantic Guidance Approach
- Title（参考訳）: 拡散モデルを用いた移動スタイルのオンザフライ学習:セマンティック・ガイダンス・アプローチ
- Authors: Lei Hu, Zihao Zhang, Yongjing Ye, Yiwen Xu, Shihong Xia,
- Abstract要約: そこで本研究では,拡散モデルに基づく人間動画像のオンザフライ変換学習手法を提案する。
まず,提案したスタイルニュートラルモーションペア生成モジュールを用いて,対応するニュートラルモーションを生成する。
次に、生成した中性運動に雑音を加えて、スタイル伝達拡散モデルを微調整するスタイルの例に近づいたことを認知する。
- 参考スコア（独自算出の注目度）: 23.600154466988073
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, the emergence of generative models has spurred development of human motion generation, among which the generation of stylized human motion has consistently been a focal point of research. The conventional approach for stylized human motion generation involves transferring the style from given style examples to new motions. Despite decades of research in human motion style transfer, it still faces three main challenges: 1) difficulties in decoupling the motion content and style; 2) generalization to unseen motion style. 3) requirements of dedicated motion style dataset; To address these issues, we propose an on-the-fly human motion style transfer learning method based on the diffusion model, which can learn a style transfer model in a few minutes of fine-tuning to transfer an unseen style to diverse content motions. The key idea of our method is to consider the denoising process of the diffusion model as a motion translation process that learns the difference between the style-neutral motion pair, thereby avoiding the challenge of style and content decoupling. Specifically, given an unseen style example, we first generate the corresponding neutral motion through the proposed Style-Neutral Motion Pair Generation module. We then add noise to the generated neutral motion and denoise it to be close to the style example to fine-tune the style transfer diffusion model. We only need one style example and a text-to-motion dataset with predominantly neutral motion (e.g. HumanML3D). The qualitative and quantitative evaluations demonstrate that our method can achieve state-of-the-art performance and has practical applications.
- Abstract（参考訳）: 近年、生成モデルが出現し、人間の動きの発生が常に研究の焦点となっている。
従来のスタイル化人間の動作生成手法では、与えられたスタイルの例から新しい動作へスタイルを移す。
何十年にもわたって、人間のモーションスタイルのトランスファーが研究されてきたが、それでも3つの大きな課題に直面している。
1) 動作内容及び様式を疎結合することの難しさ
2) 目に見えない動作スタイルへの一般化。
3) 専用の動きスタイルデータセットの要件; これらの問題に対処するために, 拡散モデルに基づく人間の動きスタイルの移動学習手法を提案する。
提案手法の鍵となる考え方は, 拡散モデルの分極過程を, スタイルニュートラルな動き対の違いを学習し, スタイルとコンテンツデカップリングの課題を回避する運動翻訳プロセスとして考えることである。
具体的には、目に見えないスタイルの例として、提案したスタイルニュートラルモーションペア生成モジュールを通じて、対応するニュートラルモーションを生成する。
次に、生成した中性運動に雑音を加えて、スタイル伝達拡散モデルを微調整するスタイルの例に近づいたことを認知する。
1つのスタイルの例と、主に中立的な動き(HumanML3Dなど)を持つテキスト・ツー・モーションのデータセットしか必要ありません。
定性的かつ定量的な評価は,本手法が最先端の性能を達成でき,実用的応用が期待できることを示す。
関連論文リスト
- UniVST: A Unified Framework for Training-free Localized Video Style Transfer [66.69471376934034]
ローカライズドビデオスタイル転送のための統一フレームワークUniVSTを提案する。
トレーニングは不要で、ビデオ全体にわたってスタイルを転送する既存の方法に対して、明確なアドバンテージを提供する。
論文 参考訳（メタデータ） (2024-10-26T05:28:02Z) - DiffuseST: Unleashing the Capability of the Diffusion Model for Style Transfer [13.588643982359413]
スタイル転送は、スタイル画像の芸術的表現をコンテンツ画像の構造情報と融合させることを目的としている。
既存の方法は特定のネットワークを訓練したり、事前訓練されたモデルを使ってコンテンツやスタイルの特徴を学習する。
本稿では,テキスト埋め込みと空間的特徴を組み合わせた,新しい学習不要なスタイル伝達手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:42:43Z) - Style Injection in Diffusion: A Training-free Approach for Adapting Large-scale Diffusion Models for Style Transfer [19.355744690301403]
本研究では,事前学習した大規模拡散モデルに基づく新たな芸術的スタイル伝達手法を提案する。
実験の結果,提案手法は従来の手法と拡散型方式の両方で最先端の手法を超越していることがわかった。
論文 参考訳（メタデータ） (2023-12-11T09:53:12Z) - ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style
Transfer [57.6482608202409]
テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。
任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。
本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
論文 参考訳（メタデータ） (2023-08-29T17:36:02Z) - Master: Meta Style Transformer for Controllable Zero-Shot and Few-Shot
Artistic Style Transfer [83.1333306079676]
本稿では,スタイル転送に特化した新しいトランスフォーマーモデルであるemphMasterを考案する。
提案モデルでは, 異なるトランスフォーマー層が共通のパラメータ群を共有し, 1) パラメータの総数を減らし, (2) より堅牢なトレーニング収束をもたらし, (3) は容易にスタイリングの程度を制御できる。
実験では、ゼロショットと少数ショットスタイルの転送設定の両方でMasterの優位性を示す。
論文 参考訳（メタデータ） (2023-04-24T04:46:39Z) - A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive
Learning [84.8813842101747]
Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。
入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。
本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
論文 参考訳（メタデータ） (2023-03-09T04:35:00Z) - Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。
本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
論文 参考訳（メタデータ） (2022-05-19T13:11:24Z) - Unified Style Transfer [6.914642763754318]
スタイルのカオス的定義のために異なるスタイル転送アルゴリズムを比較して評価することは困難である。
本稿では,新しいアプローチである統一スタイル転送(UST)モデルを提案する。
内部スタイル表現のための生成モデルの導入により、USTは、ドメインベースとイメージベースという2つのアプローチで画像を同時に転送することができる。
論文 参考訳（メタデータ） (2021-10-20T10:45:38Z) - 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。
提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。
選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
論文 参考訳（メタデータ） (2020-11-26T16:59:12Z) - Anisotropic Stroke Control for Multiple Artists Style Transfer [36.92721585146738]
Stroke Control Multi-Artist Style Transferフレームワークを開発した。
異方性ストロークモジュール(ASM)は、様々なスタイルで適応的なセマンティック一貫性を持つネットワークを提供する。
単一スケールの条件付き識別器とは対照的に,識別器はマルチスケールのテクスチャの手がかりを捉えることができる。
論文 参考訳（メタデータ） (2020-10-16T05:32:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。