論文の概要: Efficient Emotion-Aware Iconic Gesture Prediction for Robot Co-Speech
- arxiv url: http://arxiv.org/abs/2604.11417v1
- Date: Mon, 13 Apr 2026 13:02:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.546959
- Title: Efficient Emotion-Aware Iconic Gesture Prediction for Robot Co-Speech
- Title（参考訳）: ロボット共音声における感情認識の効率的なアイコニックジェスチャー予測
- Authors: Edwin C. Montiel-Vazquez, Christian Arzate Cruz, Stefanos Gkikas, Thomas Kassiotis, Giorgos Giannakakis, Randy Gomez,
- Abstract要約: 本稿では,テキストと感情のみから象徴的なジェスチャー配置と強度を導出する軽量なトランスフォーマーを提案する。
このモデルは、BEAT2データセットのセマンティックジェスチャー配置分類と強度回帰の両方において、GPT-4oより優れている。
- 参考スコア（独自算出の注目度）: 3.027027487239522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-speech gestures increase engagement and improve speech understanding. Most data-driven robot systems generate rhythmic beat-like motion, yet few integrate semantic emphasis. To address this, we propose a lightweight transformer that derives iconic gesture placement and intensity from text and emotion alone, requiring no audio input at inference time. The model outperforms GPT-4o in both semantic gesture placement classification and intensity regression on the BEAT2 dataset, while remaining computationally compact and suitable for real-time deployment on embodied agents.
- Abstract（参考訳）: 共同音声ジェスチャーは、エンゲージメントを高め、音声理解を改善する。
ほとんどのデータ駆動型ロボットシステムはリズムビートのような動きを発生させるが、セマンティックな重点を組み込むものはほとんどない。
そこで本研究では,テキストと感情のみから象徴的なジェスチャー配置と強度を導出し,推論時に音声入力を必要としない軽量なトランスフォーマーを提案する。
このモデルは、BEAT2データセットのセマンティックジェスチャ配置分類と強度回帰の両方においてGPT-4oより優れ、計算的にコンパクトであり、エンボディエージェントのリアルタイム展開に適している。
関連論文リスト
- MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - ES4R: Speech Encoding Based on Prepositive Affective Modeling for Empathetic Response Generation [30.006550552714938]
共感的音声対話は、言語内容だけでなく、豊富なパラ言語情報も理解する必要がある。
既存の音声から音声への大きな言語モデルは、ASRの転写に依存するか、エンコーダを使用して潜在表現を抽出する。
音声に基づく共感応答生成のためのフレームワークである textbfES4R を提案する。
論文 参考訳（メタデータ） (2026-01-16T10:26:50Z) - Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots [5.531678625546847]
本稿では,意味論的に意味のある共同音声ジェスチャーを合成し,人間型ロボット上でリアルタイムに展開する,革新的なエンドツーエンドフレームワークを提案する。
私たちの中核的なイノベーションは、セマンティックスを意識したジェスチャー合成モジュールの巧妙な統合にあります。
本システムでは, セマンティックに適切かつリズミカルにコヒーレントなジェスチャーを生成する。
論文 参考訳（メタデータ） (2025-12-19T02:55:10Z) - Latent Speech-Text Transformer [77.01648186958381]
本稿では,LST(Latent Speech-Text Transformer)を提案する。
LSTは、音声から音声へのバニラアプローチと、データと計算制御の両方の設定におけるテキストからテキストへのベンチマークに優れています。
論文 参考訳（メタデータ） (2025-10-07T17:52:08Z) - DeepGesture: A conversational gesture synthesis system based on emotions and semantics [0.0]
DeepGestureは拡散に基づくジェスチャー合成フレームワークである。
マルチモーダル信号に条件付けされた表現的共同音声ジェスチャーを生成する。
我々は,DeepGesture が人間らしく,文脈的適切性も向上したジェスチャーを生成することを示す。
論文 参考訳（メタデータ） (2025-07-03T20:04:04Z) - Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer [39.31849739010572]
textbfGenerative textbfPre-trained textbfSpeech textbfTransformer (GPST)を紹介する。
GPSTは効率的な音声言語モデリングのために設計された階層変換器である。
論文 参考訳（メタデータ） (2024-06-03T04:16:30Z) - EMAGE: Towards Unified Holistic Co-Speech Gesture Generation via Expressive Masked Audio Gesture Modeling [57.08286593059137]
音声とマスクによるジェスチャーから全身の人間のジェスチャーを生成するためのフレームワークEMAGEを提案する。
まずBEAT2(BEAT-SMPLX-FLAME)というメッシュレベルの音声合成データセットを紹介した。
実験により、EMAGEは最先端のパフォーマンスで総合的なジェスチャーを生成することが示された。
論文 参考訳（メタデータ） (2023-12-31T02:25:41Z) - Speech2AffectiveGestures: Synthesizing Co-Speech Gestures with Generative Adversarial Affective Expression Learning [52.73083137245969]
そこで本稿では, 感情表現を適切に表現し, 3次元ポーズを合成する生成的対人ネットワークを提案する。
本ネットワークは,入力音声とシードポーズから符号化された特徴の組込み空間からジェスチャを合成するジェネレータと,合成されたポーズシーケンスと実3Dポーズシーケンスを識別する識別器とから構成される。
論文 参考訳（メタデータ） (2021-07-31T15:13:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。