論文の概要: GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling

• arxiv url: http://arxiv.org/abs/2501.18898v2
• Date: Sat, 08 Mar 2025 01:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.923476
• Title: GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling
• Title（参考訳）: GestureLSM:空間時間モデルを用いたラテントショートカットに基づく音声合成
• Authors: Pinxin Liu, Luchuan Song, Junhua Huang, Haiyang Liu, Chenliang Xu,
• Abstract要約: GestureLSM は空間時間モデルを用いた共音声ジェスチャ生成のためのフローマッチングに基づくアプローチである。 BEAT2の最先端性能を実現し、既存の手法と比較して推論時間を著しく短縮する。
• 参考スコア（独自算出の注目度）: 32.47567372398872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating full-body human gestures based on speech signals remains challenges on quality and speed. Existing approaches model different body regions such as body, legs and hands separately, which fail to capture the spatial interactions between them and result in unnatural and disjointed movements. Additionally, their autoregressive/diffusion-based pipelines show slow generation speed due to dozens of inference steps. To address these two challenges, we propose GestureLSM, a flow-matching-based approach for Co-Speech Gesture Generation with spatial-temporal modeling. Our method i) explicitly model the interaction of tokenized body regions through spatial and temporal attention, for generating coherent full-body gestures. ii) introduce the flow matching to enable more efficient sampling by explicitly modeling the latent velocity space. To overcome the suboptimal performance of flow matching baseline, we propose latent shortcut learning and beta distribution time stamp sampling during training to enhance gesture synthesis quality and accelerate inference. Combining the spatial-temporal modeling and improved flow matching-based framework, GestureLSM achieves state-of-the-art performance on BEAT2 while significantly reducing inference time compared to existing methods, highlighting its potential for enhancing digital humans and embodied agents in real-world applications. Project Page: https://andypinxinliu.github.io/GestureLSM
• Abstract（参考訳）: 音声信号に基づくフルボディの人間のジェスチャーの生成は、品質とスピードに課題が残る。 既存のアプローチは、身体、足、手などの異なる身体領域を個別にモデル化するが、それら間の空間的相互作用を捉えることができず、不自然で不規則な動きをもたらす。 さらに、自動回帰/拡散に基づくパイプラインは、数十の推論ステップのため、生成速度が遅い。 これら2つの課題に対処するために,空間時間モデルを用いた協調音声ジェスチャ生成のためのフローマッチングベースアプローチであるGestureLSMを提案する。 我々の方法 一 空間的及び時間的注意を通したトークン化された身体領域の相互作用を明示的にモデル化し、コヒーレントな全身ジェスチャーを生成すること。 二 流速空間を明示的にモデル化することにより、より効率的なサンプリングを可能にするための流速マッチングを導入すること。 フローマッチングベースラインの最適性能を克服するために,トレーニング中の潜時ショートカット学習とベータ分布タイムスタンプサンプリングを提案し,ジェスチャー合成の質を高め,推論を高速化する。 GestureLSMは、時空間モデリングとフローマッチングベースのフレームワークの改善を組み合わせることで、BEAT2の最先端性能を実現し、既存の手法に比べて推論時間を大幅に短縮し、現実世界のアプリケーションにおけるデジタル人間やエンボディエージェントの強化の可能性を強調した。 Project Page: https://andypinxinliu.github.io/GestureLSM

関連論文リスト

• Electromyography-Based Gesture Recognition: Hierarchical Feature Extraction for Enhanced Spatial-Temporal Dynamics [0.7083699704958353]
  本稿では, 時間的時間的特徴抽出手法として, 軽量な圧縮励起深層学習手法を提案する。 提案したモデルは、Ninapro DB2、DB4、DB5データセットでそれぞれ96.41%、92.40%、93.34%の精度でテストされた。
  論文  参考訳（メタデータ） (2025-04-04T07:11:12Z)
• ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
  音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。 Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。 モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
  論文  参考訳（メタデータ） (2025-03-27T16:39:40Z)
• DIDiffGes: Decoupled Semi-Implicit Diffusion Models for Real-time Gesture Generation from Speech [42.663766380488205]
  DIDiffGesは、いくつかのサンプリングステップだけで、高品質で表現力のあるジェスチャーを音声から合成することができる。 提案手法は, 人間の類似性, 適切性, スタイルの正しさにおいて, 最先端のアプローチよりも優れる。
  論文  参考訳（メタデータ） (2025-03-21T11:23:39Z)
• Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion [0.881371061335494]
  本稿では,ストリーミングジェスチャ生成のための新しいフレームワークであるAccelerated Rolling Diffusionを紹介する。 RDLAはノイズスケジュールをステップワイドのはしごに再構成し、複数のフレームを同時に復調できる。 これにより、動作一貫性を維持しながらサンプリング効率が大幅に向上し、最大2倍のスピードアップが達成される。
  論文  参考訳（メタデータ） (2025-03-13T15:54:45Z)
• Multi-Resolution Generative Modeling of Human Motion from Limited Data [3.5229503563299915]
  限られたトレーニングシーケンスから人間の動きを合成することを学ぶ生成モデルを提案する。 このモデルは、骨格の畳み込み層とマルチスケールアーキテクチャを統合することで、人間の動きパターンを順応的にキャプチャする。
  論文  参考訳（メタデータ） (2024-11-25T15:36:29Z)
• Cross Space and Time: A Spatio-Temporal Unitized Model for Traffic Flow Forecasting [16.782154479264126]
  時間的要因間の複雑な相互作用により、バックボーン・時間的トラフィックフローを予測することが課題となる。 既存のアプローチでは、これらの次元を分離し、重要な相互依存を無視している。 本稿では,空間的および時間的依存関係の両方をキャプチャする統合フレームワークであるSanonymous-Temporal Unitized Unitized Cell (ASTUC)を紹介する。
  論文  参考訳（メタデータ） (2024-11-14T07:34:31Z)
• Radio Frequency Signal based Human Silhouette Segmentation: A Sequential Diffusion Approach [26.987963024941635]
  高品質セグメンテーションを共同で合成するための2段階連続拡散モデル(SDM)を提案する。 クロスビューブロックは、拡散モデルをマルチスケールで導くために考案された。 時間ブロックはフレームレベルのモデルを微調整して、周波数時間コンテキストとモーションダイナミクスを組み込むように設計されている。
  論文  参考訳（メタデータ） (2024-07-27T12:44:21Z)
• Du-IN: Discrete units-guided mask modeling for decoding speech from Intracranial Neural signals [5.283718601431859]
  エレクトロコルチコグラフィー(ECoG)を用いた脳-コンピュータインタフェースは,医療応用における高性能音声復号化を約束している。 離散コーデックス誘導マスクモデリングにより,領域レベルのトークンに基づくコンテキスト埋め込みを抽出するDu-INモデルを開発した。 本モデルでは,61ワードの分類タスクにおいて,すべてのベースラインを越えながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-05-19T06:00:36Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• DiffSHEG: A Diffusion-Based Approach for Real-Time Speech-driven Holistic 3D Expression and Gesture Generation [72.85685916829321]
  DiffSHEGは、任意の長さの音声駆動型ホロスティック3次元表現とジェスチャー生成のための拡散に基づくアプローチである。 DiffSHEGは、表現的および同期的動作のリアルタイム生成を可能にすることで、デジタル人間とエンボディエージェントの開発における様々な応用の可能性を示した。
  論文  参考訳（メタデータ） (2024-01-09T11:38:18Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• A Decoupled Spatio-Temporal Framework for Skeleton-based Action Segmentation [89.86345494602642]
  既存の手法は、弱い時間的モデリング能力に制限されている。 この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。 DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2023-12-10T09:11:39Z)
• DiffuSeq-v2: Bridging Discrete and Continuous Text Spaces for Accelerated Seq2Seq Diffusion Models [58.450152413700586]
  ガウス空間に基づく離散突然変異を再構成する学習において拡散モデルを容易にする軟吸収状態を導入する。 我々は、サンプリングプロセスの高速化のために、連続空間内で最先端のODEソルバを用いている。 提案手法は, トレーニング収束率を4倍に向上させ, 類似品質のサンプルを800倍高速に生成する。
  論文  参考訳（メタデータ） (2023-10-09T15:29:10Z)
• Spatio-Temporal Branching for Motion Prediction using Motion Increments [55.68088298632865]
  HMP(Human Motion Prediction)はその多種多様な応用により、人気のある研究トピックとして浮上している。 従来の手法は手作りの機能と機械学習技術に依存している。 HMPのためのインクリメンタル情報を用いた時空間分岐ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T12:04:28Z)
• SLGTformer: An Attention-Based Approach to Sign Language Recognition [19.786769414376323]
  手話は習得が困難で、聞き難い人や話せない人にとって重要な障壁となる。 本稿では,時間グラフの自己認識をデコンストラクトした手話認識手法を提案する。 WLASLデータセットにおけるSLformerの有効性を示す。
  論文  参考訳（メタデータ） (2022-12-21T03:30:43Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。