Fugu-MT 論文翻訳(概要): VarGes: Improving Variation in Co-Speech 3D Gesture Generation via StyleCLIPS

論文の概要: VarGes: Improving Variation in Co-Speech 3D Gesture Generation via StyleCLIPS

arxiv url: http://arxiv.org/abs/2502.10729v2
Date: Tue, 18 Feb 2025 08:07:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:01:55.927150
Title: VarGes: Improving Variation in Co-Speech 3D Gesture Generation via StyleCLIPS
Title（参考訳）: VarGes: StyleCLIPSによる音声3Dジェスチャ生成のバラツキ改善
Authors: Ming Meng, Ke Mu, Yonggui Zhu, Zhe Zhu, Haoyu Sun, Heyang Yan, Zhaoxin Fan,
Abstract要約: VarGesは、共同音声ジェスチャ生成を強化するために設計された、新しい変分駆動フレームワークである。提案手法は,ジェスチャの多様性と自然性の観点から,既存の手法よりも優れるベンチマークデータセットで検証されている。
参考スコア（独自算出の注目度）: 4.996271098355553
License:
Abstract: Generating expressive and diverse human gestures from audio is crucial in fields like human-computer interaction, virtual reality, and animation. Though existing methods have achieved remarkable performance, they often exhibit limitations due to constrained dataset diversity and the restricted amount of information derived from audio inputs. To address these challenges, we present VarGes, a novel variation-driven framework designed to enhance co-speech gesture generation by integrating visual stylistic cues while maintaining naturalness. Our approach begins with the Variation-Enhanced Feature Extraction (VEFE) module, which seamlessly incorporates \textcolor{blue}{style-reference} video data into a 3D human pose estimation network to extract StyleCLIPS, thereby enriching the input with stylistic information. Subsequently, we employ the Variation-Compensation Style Encoder (VCSE), a transformer-style encoder equipped with an additive attention mechanism pooling layer, to robustly encode diverse StyleCLIPS representations and effectively manage stylistic variations. Finally, the Variation-Driven Gesture Predictor (VDGP) module fuses MFCC audio features with StyleCLIPS encodings via cross-attention, injecting this fused data into a cross-conditional autoregressive model to modulate 3D human gesture generation based on audio input and stylistic clues. The efficacy of our approach is validated on benchmark datasets, where it outperforms existing methods in terms of gesture diversity and naturalness. The code and video results will be made publicly available upon acceptance:https://github.com/mookerr/VarGES/ .
Abstract（参考訳）: 音声から表現的かつ多様な人間のジェスチャーを生成することは、人間とコンピュータの相互作用、バーチャルリアリティ、アニメーションといった分野において不可欠である。既存の手法は目覚ましい性能を達成したが、制約付きデータセットの多様性と音声入力から得られる情報の制限による制限がしばしば現れる。これらの課題に対処するため,自然性を保ちながら視覚的スタイリスティックな手がかりを統合することで,協調音声ジェスチャ生成を向上させるために設計された,新しい変分駆動フレームワークであるVarGesを提案する。提案手法は,3次元人物ポーズ推定ネットワークに<textcolor{blue}{style-reference}ビデオデータをシームレスに組み込んでStyleCLIPSを抽出し,その入力をスタイリスティックな情報で強化する。次に、付加的なアテンション機構プーリング層を備えたトランスフォーマー型エンコーダVCSEを用いて、多種多様なStyleCLIPS表現を堅牢にエンコードし、スタイリスティックなバリエーションを効果的に管理する。最後に、変分駆動ジェスチャー予測器(VDGP)モジュールは、MFCCオーディオ機能とStyleCLIPSエンコーディングをクロスアテンションを介して融合し、この融合したデータを条件付き自己回帰モデルに注入し、オーディオ入力とスタイリスティックなヒントに基づいて3Dのジェスチャー生成を変調する。提案手法の有効性をベンチマークデータセットで検証し,ジェスチャーの多様性と自然性の観点から既存手法より優れていることを示す。コードとビデオの結果は、 https://github.com/mookerr/VarGES/.com/ で公開されます。

関連論文リスト

Stereo-Talker: Audio-driven 3D Human Synthesis with Prior-Guided Mixture-of-Experts [41.08576055846111]
Stereo-Talkerは、新しいワンショットオーディオ駆動型ヒューマンビデオ合成システムである。正確な唇の同期、表現力のある身体ジェスチャー、時間的に一貫したフォトリアリスティックな品質、継続的な視点制御を備えた3Dビデオを生成する。
論文参考訳（メタデータ） (2024-10-31T11:32:33Z)
SVP: Style-Enhanced Vivid Portrait Talking Head Diffusion Model [64.28263381647628]
トーキングヘッドジェネレーション(THG)は、デジタル人間、映画制作、バーチャルリアリティーなど様々な分野の幅広い応用分野において重要な課題である。本稿では,THGのスタイル関連情報をフル活用したSVP(Style-Enhanced Vivid Portrait)を提案する。我々のモデルは、本質的なスタイルを柔軟に制御できる多様な、鮮明で高品質なビデオを生成し、既存の最先端の手法より優れています。
論文参考訳（メタデータ） (2024-09-05T06:27:32Z)
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference [5.711221299998126]
Persona-Gestorは、高度にパーソナライズされた3Dフルボディジェスチャーを生成するように設計された、新しいエンドツーエンド生成モデルである。このモデルはファジィ特徴抽出器と非自己回帰適応層正規化(AdaLN)変換器拡散アーキテクチャを組み合わせたものである。 Persona-Gestorはシステムのユーザビリティと一般化機能を改善する。
論文参考訳（メタデータ） (2024-03-16T04:40:10Z)
FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
論文参考訳（メタデータ） (2024-03-04T09:59:48Z)
EMAGE: Towards Unified Holistic Co-Speech Gesture Generation via Expressive Masked Audio Gesture Modeling [57.08286593059137]
音声とマスクによるジェスチャーから全身の人間のジェスチャーを生成するためのフレームワークEMAGEを提案する。まずBEAT2(BEAT-SMPLX-FLAME)というメッシュレベルの音声合成データセットを紹介した。実験により、EMAGEは最先端のパフォーマンスで総合的なジェスチャーを生成することが示された。
論文参考訳（メタデータ） (2023-12-31T02:25:41Z)
SAiD: Speech-driven Blendshape Facial Animation with Diffusion [6.4271091365094515]
大規模なビジュアルオーディオデータセットが不足しているため、音声駆動の3D顔アニメーションは困難である。拡散モデル (SAiD) を用いた音声駆動型3次元顔アニメーションを提案する。
論文参考訳（メタデータ） (2023-12-25T04:40:32Z)
APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
論文参考訳（メタデータ） (2023-12-04T01:42:09Z)
DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models [24.401443462720135]
本稿では,拡散モデルとスタイルエンコーダを組み合わせた生成フレームワークであるDiffPoseTalkを提案する。特に、私たちのスタイルには、頭部ポーズの生成が含まれており、それによってユーザの知覚が向上する。高品質な映像データセットから再構成された3DMMパラメータをモデルに学習することで,3D音声データ不足に対処する。
論文参考訳（メタデータ） (2023-09-30T17:01:18Z)
Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
論文参考訳（メタデータ） (2022-04-06T02:42:33Z)
End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
論文参考訳（メタデータ） (2021-02-12T18:00:08Z)
Dynamic Graph Representation Learning for Video Dialog via Multi-Modal Shuffled Transformers [89.00926092864368]
音声・視覚シーン認識ダイアログタスクのためのセマンティクス制御型マルチモーダルシャッフルトランスフォーマー推論フレームワークを提案する。また,フレーム内推論層を用いた動的シーングラフ表現学習パイプラインを提案する。その結果,全ての評価指標について最先端の性能を示すことができた。
論文参考訳（メタデータ） (2020-07-08T02:00:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。