論文の概要: EasyGenNet: An Efficient Framework for Audio-Driven Gesture Video Generation Based on Diffusion Model

• arxiv url: http://arxiv.org/abs/2504.08344v1
• Date: Fri, 11 Apr 2025 08:19:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:18:53.306305
• Title: EasyGenNet: An Efficient Framework for Audio-Driven Gesture Video Generation Based on Diffusion Model
• Title（参考訳）: EasyGenNet:拡散モデルに基づくオーディオ駆動ジェスチャー映像生成のための効率的なフレームワーク
• Authors: Renda Li, Xiaohua Qi, Qiang Ling, Jun Yu, Ziyi Chen, Peng Chang, Mei HanJing Xiao,
• Abstract要約: 本研究では,2次元人間の骨格を中間動作表現として用い,音声合成のための新しいパイプラインを提案する。 実験の結果,本手法は既存のGAN法および拡散法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 22.286624353800377
• License:
• Abstract: Audio-driven cospeech video generation typically involves two stages: speech-to-gesture and gesture-to-video. While significant advances have been made in speech-to-gesture generation, synthesizing natural expressions and gestures remains challenging in gesture-to-video systems. In order to improve the generation effect, previous works adopted complex input and training strategies and required a large amount of data sets for pre-training, which brought inconvenience to practical applications. We propose a simple one-stage training method and a temporal inference method based on a diffusion model to synthesize realistic and continuous gesture videos without the need for additional training of temporal modules.The entire model makes use of existing pre-trained weights, and only a few thousand frames of data are needed for each character at a time to complete fine-tuning. Built upon the video generator, we introduce a new audio-to-video pipeline to synthesize co-speech videos, using 2D human skeleton as the intermediate motion representation. Our experiments show that our method outperforms existing GAN-based and diffusion-based methods.
• Abstract（参考訳）: 音声駆動の音声合成は、通常、音声から身振り、ジェスチャー・トゥ・ビデオの2段階を含む。 音声からジェスチャー生成には大きな進歩があったが、ジェスチャー・ビデオシステムでは自然な表現やジェスチャーの合成が困難なままである。 生成効果を改善するために、以前の研究では複雑な入力とトレーニング戦略を採用し、事前学習のために大量のデータセットを必要としていたため、実用化には不都合が生じた。 本研究では,時間的モジュールの追加トレーニングを必要とせずに,現実的かつ連続的なジェスチャー映像を合成するための拡散モデルに基づく簡易なワンステージトレーニング法と時間的推論法を提案する。 ビデオジェネレータをベースとして,2次元人間の骨格を中間動作表現として用いた音声合成パイプラインを新たに導入した。 実験の結果,本手法は既存のGAN法および拡散法よりも優れていることがわかった。

関連論文リスト

• SF-V: Single Forward Video Generation Model [57.292575082410785]
  そこで本稿では,単段階ビデオ生成モデルを得るための新しい手法を提案する。 実験により,提案手法は計算オーバーヘッドを大幅に低減した合成ビデオの競合生成品質を実現することを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:27Z)
• Co-Speech Gesture Video Generation via Motion-Decoupled Diffusion Model [17.98911328064481]
  共同音声ジェスチャーは、人間と機械の相互作用において優れた視覚効果を得ることができる。 共同音声ジェスチャビデオを生成するための新しい動き分離フレームワークを提案する。 提案手法は,動作評価と映像評価の両方において,既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-04-02T11:40:34Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Audio-Driven Dubbing for User Generated Contents via Style-Aware Semi-Parametric Synthesis [123.11530365315677]
  既存の自動ダビングメソッドは通常、PGC(Professionally Generated Content)の生産用に設計されている。 本稿では,ユーザ生成コンテンツ(UGC)制作においてより有効な音声駆動型ダビング手法について検討する。
  論文  参考訳（メタデータ） (2023-08-31T15:41:40Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
  本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。 私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
  論文  参考訳（メタデータ） (2022-05-04T13:34:07Z)
• Continuous-Time Video Generation via Learning Motion Dynamics with Neural ODE [26.13198266911874]
  動きと外観の異なる分布を学習する新しい映像生成手法を提案する。 本稿では,第1段階が任意のフレームレートで雑音ベクトルをキーポイント列に変換し,第2段階が与えられたキーポイントシーケンスと外観雑音ベクトルに基づいて映像を合成する2段階の手法を用いる。
  論文  参考訳（メタデータ） (2021-12-21T03:30:38Z)
• Speech2Video Synthesis with 3D Skeleton Regularization and Expressive Body Poses [36.00309828380724]
  本稿では,与えられた音声を特定の人物の写実的な発話ビデオに変換する新しい手法を提案する。 我々は、リカレントニューラルネットワーク(RNN)を用いて、まず音声シーケンスから3Dスケルトンの動きを生成する。 骨格運動を現実的で表現力のあるものにするために,人工的な3次元人骨の知識と個人音声の象徴的ジェスチャーの学習辞書を生成プロセスに組み込む。
  論文  参考訳（メタデータ） (2020-07-17T19:30:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。