論文の概要: Stylized Text-to-Motion Generation via Hypernetwork-Driven Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2605.13333v1
- Date: Wed, 13 May 2026 10:51:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.991894
- Title: Stylized Text-to-Motion Generation via Hypernetwork-Driven Low-Rank Adaptation
- Title(参考訳): ハイパーネットワーク駆動型低ランク適応によるスティル化テキスト・トゥ・モーション生成
- Authors: Junhyuk Jeon, Seokhyeon Hong, Junyong Noh,
- Abstract要約: テキスト駆動の運動拡散モデルは現実的な人間の動きを生成できるが、テキストだけではスタイルとして知られる動きの微妙なニュアンスを表現するのに苦労することが多い。
近年のアプローチでは、事前訓練されたテキスト駆動拡散モデルにスタイル注入機構を付加することでこの問題に対処している。
本稿では,ハイパーネットワークで生成されたLoRAパラメータを用いて,事前学習した拡散モデルを動的に変調する軽量なスタイル条件付けフレームワークを提案する。
HumanML3Dと100STYLEデータセットの実験は、最先端のスタイル化結果を示しながら、目に見えないスタイルのスタイル化の改善を実現している。
- 参考スコア(独自算出の注目度): 15.45127792716575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-driven motion diffusion models are capable of generating realistic human motions, but text alone often struggles to express fine-level nuances of motion, commonly referred to as style. Recent approaches have tackled this challenge by attaching a style injection mechanism to a pretrained text-driven diffusion model. Existing stylization methods, however, either require style-specific fine-tuning of existing models or rely on heavy ControlNet-based architectures, limiting efficiency and generalization to unseen styles. We propose a lightweight style conditioning framework that dynamically modulates a pretrained diffusion model through hypernetwork-generated LoRA parameters. A style reference motion is encoded into a global style embedding, which is mapped by a hypernetwork to low-rank updates applied at each denoising step of the diffusion model. By structuring the style latent space with a supervised contrastive loss, our framework reliably captures diverse stylistic attributes, improves generalization to unseen styles, and supports optimization-based guidance without requiring predefined style categories. Experiments on the HumanML3D and 100STYLE datasets show state-of-the-art stylization results, while achieving improved stylization for unseen styles.
- Abstract(参考訳): テキスト駆動の運動拡散モデルは、現実的な人間の動きを生成することができるが、テキストだけでは、しばしばスタイルと呼ばれる、微妙な動きのニュアンスを表現するのに苦労する。
近年のアプローチでは、事前訓練されたテキスト駆動拡散モデルにスタイル注入機構を付加することでこの問題に対処している。
しかし、既存のスタイリング手法は、既存のモデルのスタイル固有の微調整を必要とするか、あるいは重いコントロールネットベースのアーキテクチャに依存し、効率と一般化を目に見えないスタイルに制限する。
本稿では,ハイパーネットワークで生成されたLoRAパラメータを用いて,事前学習した拡散モデルを動的に変調する軽量なスタイル条件付けフレームワークを提案する。
スタイル参照動作はグローバルなスタイル埋め込みに符号化され、ハイパーネットワークによってマッピングされ、拡散モデルの各デノイングステップで適用される低ランク更新に適用される。
教師付きコントラスト損失でスタイル潜在空間を構築することで、我々のフレームワークは多様なスタイル特性を確実に把握し、未知のスタイルへの一般化を改善し、事前定義されたスタイルカテゴリを必要とせずに最適化ベースのガイダンスをサポートする。
HumanML3Dと100STYLEデータセットの実験は、最先端のスタイル化結果を示しながら、目に見えないスタイルのスタイル化の改善を実現している。
関連論文リスト
- Dance Like a Chicken: Low-Rank Stylization for Human Motion Diffusion [28.94750481325469]
編集性を維持しながら複雑な動作に一般化する動きスタイリングのためのフレームワークであるLoRA-MDMを紹介する。
我々の重要な洞察は、そのスタイルを含む前に生成体を適応させることは、その全体の分布を保ちながら、生成中の個々の動きを変更するよりも効果的であるということである。
LoRA-MDMは、いくつかのサンプルを使用して参照スタイルを含める前に適応することを学ぶ。
論文 参考訳(メタデータ) (2025-03-25T11:23:34Z) - ArtWeaver: Advanced Dynamic Style Integration via Diffusion Model [73.95608242322949]
Stylized Text-to-Image Generation (STIG)は、テキストプロンプトとスタイル参照画像から画像を生成することを目的としている。
我々は、事前訓練された安定拡散を利用して、誤解釈スタイルや一貫性のない意味論といった課題に対処する新しいフレームワーク、ArtWeaverを提案する。
論文 参考訳(メタデータ) (2024-05-24T07:19:40Z) - HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced
Diffusion Models [84.12784265734238]
Arbitrary Style Transfer (AST)の目標は、あるスタイル参照の芸術的特徴を所定の画像/ビデオに注入することである。
各種のセマンティックな手がかりに基づいてスタイリング結果を明示的にカスタマイズできるHiCASTを提案する。
新たな学習目標をビデオ拡散モデルトレーニングに活用し,フレーム間の時間的一貫性を大幅に向上させる。
論文 参考訳(メタデータ) (2024-01-11T12:26:23Z) - ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style
Transfer [57.6482608202409]
テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。
任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。
本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
論文 参考訳(メタデータ) (2023-08-29T17:36:02Z) - MODIFY: Model-driven Face Stylization without Style Images [77.24793103549158]
既存の顔のスタイリング手法は、翻訳プロセス中に常にターゲット(スタイル)ドメインの存在を取得する。
そこで本研究では,MODel-drIven Face stYlization (MODIFY) と呼ばれる新たな手法を提案する。
複数の異なるデータセットに対する実験結果は、教師なし顔のスタイリングにおけるMODIFYの有効性を検証した。
論文 参考訳(メタデータ) (2023-03-17T08:35:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。