論文の概要: SARGes: Semantically Aligned Reliable Gesture Generation via Intent Chain

• arxiv url: http://arxiv.org/abs/2503.20202v1
• Date: Wed, 26 Mar 2025 03:55:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:51.510067
• Title: SARGes: Semantically Aligned Reliable Gesture Generation via Intent Chain
• Title（参考訳）: SARGes: Intent Chainによるセマンティックアライズされた信頼性ジェスチャ生成
• Authors: Nan Gao, Yihua Bao, Dongdong Weng, Jiayi Zhao, Jia Li, Yan Zhou, Pengfei Wan, Di Zhang,
• Abstract要約: SARGesは,大規模言語モデルを利用して意味論的に意味のあるジェスチャーを生成する新しいフレームワークである。 SARGesは、効率的なシングルパス推論により、高度にセマンティックに整合したジェスチャーラベリングを実現する。 提案手法は意味的ジェスチャー合成のための解釈可能な意図推論経路を提供する。
• 参考スコア（独自算出の注目度）: 25.895313346558464
• License:
• Abstract: Co-speech gesture generation enhances human-computer interaction realism through speech-synchronized gesture synthesis. However, generating semantically meaningful gestures remains a challenging problem. We propose SARGes, a novel framework that leverages large language models (LLMs) to parse speech content and generate reliable semantic gesture labels, which subsequently guide the synthesis of meaningful co-speech gestures.First, we constructed a comprehensive co-speech gesture ethogram and developed an LLM-based intent chain reasoning mechanism that systematically parses and decomposes gesture semantics into structured inference steps following ethogram criteria, effectively guiding LLMs to generate context-aware gesture labels. Subsequently, we constructed an intent chain-annotated text-to-gesture label dataset and trained a lightweight gesture label generation model, which then guides the generation of credible and semantically coherent co-speech gestures. Experimental results demonstrate that SARGes achieves highly semantically-aligned gesture labeling (50.2% accuracy) with efficient single-pass inference (0.4 seconds). The proposed method provides an interpretable intent reasoning pathway for semantic gesture synthesis.
• Abstract（参考訳）: 音声同期ジェスチャ合成による音声合成による人間とコンピュータの相互作用リアリズムの向上 しかし、意味的に意味のあるジェスチャーを生成することは難しい問題である。 SARGesは,大規模言語モデル(LLM)を利用して音声コンテンツを解析し,信頼性の高いセマンティック・ジェスチャ・ラベルを生成する新しいフレームワークである。その上で,意味のあるコ音声ジェスチャーの合成を導く。まず,包括的コ音声ジェスチャー・エトグラムを構築し,ジェスチャ・セマンティクスをエトグラム基準に従って構造化推論ステップに体系的に解析・分解するLLMベースの意図連鎖推論機構を開発し,LLMを効果的に誘導し,コンテキスト認識ジェスチャ・ラベルを生成する。 その後,意図チェーンを付加したテキスト・ツー・ジェスチャ・ラベル・データセットを構築し,軽量なジェスチャ・ラベル生成モデルを訓練し,信頼性とセマンティック・コヒーレント・ジェスチャの生成を指導した。 実験の結果、SARGesは効率の良いシングルパス推論(0.4秒)で、高度にセマンティックに整列したジェスチャーラベリング(50.2%の精度)を実現することが示された。 提案手法は意味的ジェスチャー合成のための解釈可能な意図推論経路を提供する。

関連論文リスト

• Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
  RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。 我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。 提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:59:46Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• Self-Supervised Representation Learning with Spatial-Temporal Consistency for Sign Language Recognition [96.62264528407863]
  本研究では,空間的時間的整合性を通じてリッチな文脈を探索する自己教師付きコントラスト学習フレームワークを提案する。 動きと関節のモーダル性の相補性に着想を得て,手話モデルに一階動作情報を導入する。 提案手法は,4つの公開ベンチマークの広範な実験により評価され,新しい最先端性能と顕著なマージンを実現している。
  論文  参考訳（メタデータ） (2024-06-15T04:50:19Z)
• Semantic Gesticulator: Semantics-Aware Co-Speech Gesture Synthesis [25.822870767380685]
  本稿では,セマンティック・ゲスティキュレータについて述べる。セマンティック・ジェスチャは,セマンティック・ジェスチャを強力なセマンティック・アセプティクスで合成するためのフレームワークである。 本システムでは,リズミカルコヒーレントかつセマンティックな動作を生成する上で,ロバスト性を示す。 我々のシステムは、意味的適切性の観点から、最先端のシステムよりも明確なマージンで優れています。
  論文  参考訳（メタデータ） (2024-05-16T05:09:01Z)
• Iconic Gesture Semantics [87.00251241246136]
  ジェスチャーの視覚的象徴的モデルの知覚的分類において、情報評価は拡張的な例示(例示)として表される。 視覚コミュニケーションのインスタンスの知覚的分類は、Frege/Montagueフレームワークとは異なる意味の概念を必要とする。 モデル理論評価から動的セマンティックフレームワークにおける推論的解釈まで,ジェスチャ表現の全範囲をカバーするアイコン的ジェスチャセマンティクスが導入された。
  論文  参考訳（メタデータ） (2024-04-29T13:58:03Z)
• ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis [50.69464138626748]
  マルチモーダルなジェスチャー合成のための拡散に基づくアプローチであるConvoFusionを提案する。 提案手法は,条件の異なる条件が与える影響をユーザが調節できる2つの誘導目標を提案する。 本手法は,モノログジェスチャを生成するか,会話ジェスチャを生成するかの訓練が可能である。
  論文  参考訳（メタデータ） (2024-03-26T17:59:52Z)
• LivelySpeaker: Towards Semantic-Aware Co-Speech Gesture Generation [41.42316077949012]
  セマンティクスを意識した音声ジェスチャー生成を実現するフレームワークであるLivelySpeakerを紹介する。 本手法では,タスクをスクリプトベースのジェスチャー生成とオーディオガイドによるリズム改善の2段階に分割する。 新たな2段階生成フレームワークでは,妊娠スタイルの変更など,いくつかの応用が可能となった。
  論文  参考訳（メタデータ） (2023-09-17T15:06:11Z)
• Rhythmic Gesticulator: Rhythm-Aware Co-Speech Gesture Synthesis with Hierarchical Neural Embeddings [27.352570417976153]
  本稿では、リズムとセマンティクスの両方で説得力のある結果が得られる新しい音声合成法を提案する。 本システムでは,発声とジェスチャーの時間的コヒーレンスを確保するために,ロバストなリズムベースセグメンテーションパイプラインを備えている。 ジェスチャーのセマンティクスにおいて,言語理論に基づく低レベルと高レベルの両方のニューラル埋め込みを効果的に解消する機構を考案する。
  論文  参考訳（メタデータ） (2022-10-04T08:19:06Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• Gesticulator: A framework for semantically-aware speech-driven gesture generation [17.284154896176553]
  任意のビートとセマンティックなジェスチャーを同時に生成するモデルを提案する。 深層学習に基づくモデルでは、音声の音響的表現と意味的表現の両方を入力とし、入力として関節角回転の列としてジェスチャーを生成する。 結果として得られるジェスチャーは、仮想エージェントとヒューマノイドロボットの両方に適用できる。
  論文  参考訳（メタデータ） (2020-01-25T14:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。