論文の概要: Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion

• arxiv url: http://arxiv.org/abs/2503.10488v2
• Date: Fri, 04 Apr 2025 16:12:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 16:30:18.07141
• Title: Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion
• Title（参考訳）: 高速転がり拡散による複合音声ジェスチャのストリーミング生成
• Authors: Evgeniia Vu, Andrei Boiarov, Dmitry Vetrov,
• Abstract要約: 本稿では,ストリーミングジェスチャ生成のための新しいフレームワークであるAccelerated Rolling Diffusionを紹介する。 RDLAはノイズスケジュールをステップワイドのはしごに再構成し、複数のフレームを同時に復調できる。 これにより、動作一貫性を維持しながらサンプリング効率が大幅に向上し、最大2倍のスピードアップが達成される。
• 参考スコア（独自算出の注目度）: 0.881371061335494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating co-speech gestures in real time requires both temporal coherence and efficient sampling. We introduce Accelerated Rolling Diffusion, a novel framework for streaming gesture generation that extends rolling diffusion models with structured progressive noise scheduling, enabling seamless long-sequence motion synthesis while preserving realism and diversity. We further propose Rolling Diffusion Ladder Acceleration (RDLA), a new approach that restructures the noise schedule into a stepwise ladder, allowing multiple frames to be denoised simultaneously. This significantly improves sampling efficiency while maintaining motion consistency, achieving up to a 2x speedup with high visual fidelity and temporal coherence. We evaluate our approach on ZEGGS and BEAT, strong benchmarks for real-world applicability. Our framework is universally applicable to any diffusion-based gesture generation model, transforming it into a streaming approach. Applied to three state-of-the-art methods, it consistently outperforms them, demonstrating its effectiveness as a generalizable and efficient solution for real-time, high-fidelity co-speech gesture synthesis.
• Abstract（参考訳）: リアルタイムにコ音声ジェスチャを生成するには、時間的コヒーレンスと効率的なサンプリングの両方が必要である。 そこで,本研究では,構造化されたプログレッシブノイズスケジューリングによる転がり拡散モデルを拡張し,現実性と多様性を保ちつつ,シームレスな長時間動作合成を可能にする,ストリーミングジェスチャ生成のための新しいフレームワークであるAccelerated Rolling Diffusionを紹介する。 さらに,複数のフレームを同時に復号化できるように,ノイズスケジュールを段階的にラグに再構成する新しい手法であるRDLAを提案する。 これにより、動作一貫性を維持しながらサンプリング効率を大幅に改善し、視覚的忠実度と時間的コヒーレンスの高い2倍のスピードアップを達成する。 ZEGGSとBEATに対する我々のアプローチは、実世界の適用性を示す強力なベンチマークである。 我々のフレームワークは、拡散に基づくジェスチャ生成モデルに普遍的に適用でき、ストリーミングアプローチに変換される。 最先端の3つの手法に適用すると、それらよりも一貫して優れ、リアルタイムで高忠実な音声合成のための一般化可能かつ効率的な解法としての有効性を示す。

関連論文リスト

• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
  ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。 提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。 大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2025-03-11T16:43:45Z)
• One-Step Diffusion Model for Image Motion-Deblurring [85.76149042561507]
  本稿では,脱臭過程を1段階に短縮する新しいフレームワークである脱臭拡散モデル(OSDD)を提案する。 拡散モデルにおける忠実度損失に対処するために,構造復元を改善する改良された変分オートエンコーダ(eVAE)を導入する。 提案手法は,実測値と非参照値の両方で高い性能を達成する。
  論文  参考訳（メタデータ） (2025-03-09T09:39:57Z)
• GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling [32.47567372398872]
  GestureLSM は空間時間モデルを用いた共音声ジェスチャ生成のためのフローマッチングに基づくアプローチである。 BEAT2の最先端性能を実現し、既存の手法と比較して推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2025-01-31T05:34:59Z)
• DiffSHEG: A Diffusion-Based Approach for Real-Time Speech-driven Holistic 3D Expression and Gesture Generation [72.85685916829321]
  DiffSHEGは、任意の長さの音声駆動型ホロスティック3次元表現とジェスチャー生成のための拡散に基づくアプローチである。 DiffSHEGは、表現的および同期的動作のリアルタイム生成を可能にすることで、デジタル人間とエンボディエージェントの開発における様々な応用の可能性を示した。
  論文  参考訳（メタデータ） (2024-01-09T11:38:18Z)
• Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World Video Super-Resolution [65.91317390645163]
  Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。 ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。 また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
  論文  参考訳（メタデータ） (2023-12-11T18:54:52Z)
• EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation [57.539634387672656]
  現在の最先端生成拡散モデルでは、優れた結果が得られたが、品質を犠牲にすることなく、高速な生成に苦慮している。 高速かつ高品質な人体運動生成のための効率的な運動拡散モデル(EMDM)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:58:38Z)
• Taming Diffusion Models for Audio-Driven Co-Speech Gesture Generation [41.292644854306594]
  DiffGesture (DiffGesture) という,拡散に基づく新しいフレームワークを提案する。 DiffGestureは、より優れたモードカバレッジとより強力なオーディオ相関を備えたコヒーレントなジェスチャーをレンダリングする、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-03-16T07:32:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。