論文の概要: HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching

• arxiv url: http://arxiv.org/abs/2603.26553v1
• Date: Fri, 27 Mar 2026 16:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.583635
• Title: HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching
• Title（参考訳）: HolisticSemGes:Contrastive Flow-Matchingを用いたHolistic Co-Speech Gesture生成のセマンティックグラウンドリング
• Authors: Lanmiao Liu, Esam Ghaleb, Aslı Özyürek, Zerrin Yumak,
• Abstract要約: コントラストフローマッチングに基づく音声合成モデルを提案する。 一致しない音声テキスト条件を負として使用し、速度場をトレーニングして正しい運動軌跡を辿り、意味的に矛盾した軌跡を撃退する。 本モデルでは,テキスト,音声,ホロスティックな動きを,コサインとコントラストの目的によって合成潜在空間に埋め込むことにより,クロスモーダルなコヒーレンスを保証する。
• 参考スコア（独自算出の注目度）: 1.6916040234975798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the field of co-speech gesture generation has seen significant advances, producing holistic, semantically grounded gestures remains a challenge. Existing approaches rely on external semantic retrieval methods, which limit their generalisation capability due to dependency on predefined linguistic rules. Flow-matching-based methods produce promising results; however, the network is optimised using only semantically congruent samples without exposure to negative examples, leading to learning rhythmic gestures rather than sparse motion, such as iconic and metaphoric gestures. Furthermore, by modelling body parts in isolation, the majority of methods fail to maintain crossmodal consistency. We introduce a Contrastive Flow Matching-based co-speech gesture generation model that uses mismatched audio-text conditions as negatives, training the velocity field to follow the correct motion trajectory while repelling semantically incongruent trajectories. Our model ensures cross-modal coherence by embedding text, audio, and holistic motion into a composite latent space via cosine and contrastive objectives. Extensive experiments and a user study demonstrate that our proposed approach outperforms state-of-the-art methods on two datasets, BEAT2 and SHOW.
• Abstract（参考訳）: 共同音声ジェスチャ生成の分野は大きな進歩を遂げているが、全体論的、意味論的に基礎をおくジェスチャは依然として課題である。 既存のアプローチは、事前定義された言語規則に依存するため、一般化能力を制限する外部意味検索手法に依存している。 フローマッチングに基づく手法は有望な結果をもたらすが、ネットワークはネガティブな例に触れることなく意味的に一致したサンプルのみを用いて最適化され、象徴的・比喩的なジェスチャーのようなスパースな動作よりもリズム的なジェスチャーを学習する。 さらに、ボディパーツを分離してモデリングすることで、ほとんどのメソッドは相互に整合性を維持することができません。 本稿では,一致しない音声文条件を負として用いたコントラストフローマッチングに基づく音声合成モデルを提案する。 本モデルでは,コサインとコントラストの目的により,テキスト,音声,全体像を合成潜在空間に埋め込むことにより,相互コヒーレンスを確保する。 実験とユーザスタディにより,提案手法はBEAT2とSHOWの2つのデータセット上で最先端の手法より優れていることが示された。

関連論文リスト

• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• Beyond Global Alignment: Fine-Grained Motion-Language Retrieval via Pyramidal Shapley-Taylor Learning [56.6025512458557]
  動き言語検索は、自然言語と人間の動きの間の意味的ギャップを埋めることを目的としている。 既存のアプローチは主に、全動作シーケンスとグローバルテキスト表現の整合性に重点を置いている。 本研究では,微粒な動き言語検索のためのPST学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T16:00:12Z)
• SemGes: Semantics-aware Co-Speech Gesture Generation using Semantic Coherence and Relevance Learning [0.6249768559720122]
  共同音声ジェスチャ生成における意味的接地のための新しい手法を提案する。 我々のアプローチは、ベクトル量子化された変分オートエンコーダによって、前もって動きを学習することから始まる。 提案手法は,2つのベンチマークにおいて,音声合成における最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2025-07-25T15:10:15Z)
• SemTalk: Holistic Co-speech Motion Generation with Frame-level Semantic Emphasis [19.764460501254607]
  一般的なリズム運動と稀だが本質的なセマンティックモーションを慎重に統合しなければ、良好な音声合成が達成できない。 本稿では,フレームレベルのセマンティクスを重視した音声合成のためのSemTalkを提案する。
  論文  参考訳（メタデータ） (2024-12-21T10:16:07Z)
• Emphasizing Semantic Consistency of Salient Posture for Speech-Driven Gesture Generation [44.78811546051805]
  音声駆動ジェスチャ生成は、入力音声信号と同期したジェスチャシーケンスを合成することを目的としている。 従来の手法では、ニューラルネットワークを利用して、コンパクトな音声表現をジェスチャーシーケンスに直接マッピングする。 そこで本稿では,姿勢のセマンティック一貫性を重視した音声によるジェスチャー生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T17:22:59Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• AQ-GT: a Temporally Aligned and Quantized GRU-Transformer for Co-Speech Gesture Synthesis [0.0]
  本稿では,量子化パイプラインを用いた生成逆数ネットワークを用いて,事前学習した部分的ジェスチャー列に対するアプローチを提案する。 空間表現を直接ベクトル表現にマッピングするのではなく、潜在空間表現のマッピングを学習することにより、非常に現実的で表現力のあるジェスチャーの生成を促進する。
  論文  参考訳（メタデータ） (2023-05-02T07:59:38Z)
• Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
  従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。 そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
  論文  参考訳（メタデータ） (2022-10-07T04:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。