論文の概要: Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents

• arxiv url: http://arxiv.org/abs/2309.09346v1
• Date: Sun, 17 Sep 2023 18:46:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 16:02:45.273146
• Title: Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents
• Title（参考訳）: 音声ジェスチャーGAN:ロボットとエージェントのためのジェスチャー生成
• Authors: Carson Yu Liu, Gelareh Mohammadi, Yang Song and Wafa Johal
• Abstract要約: 仮想エージェントや社会ロボットという形で、身体エージェントが急速に普及している。 音声テキストと音声の発話から関節角度の連続を生成できる新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 5.244401764969407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Embodied agents, in the form of virtual agents or social robots, are rapidly becoming more widespread. In human-human interactions, humans use nonverbal behaviours to convey their attitudes, feelings, and intentions. Therefore, this capability is also required for embodied agents in order to enhance the quality and effectiveness of their interactions with humans. In this paper, we propose a novel framework that can generate sequences of joint angles from the speech text and speech audio utterances. Based on a conditional Generative Adversarial Network (GAN), our proposed neural network model learns the relationships between the co-speech gestures and both semantic and acoustic features from the speech input. In order to train our neural network model, we employ a public dataset containing co-speech gestures with corresponding speech audio utterances, which were captured from a single male native English speaker. The results from both objective and subjective evaluations demonstrate the efficacy of our gesture-generation framework for Robots and Embodied Agents.
• Abstract（参考訳）: 身体化されたエージェントは、仮想エージェントやソーシャルロボットという形で急速に普及している。 人間と人間の相互作用では、人間は態度、感情、意図を伝えるために非言語的な行動を使う。 したがって、人間との相互作用の質と効果を高めるためには、具体化剤にもこの能力が必要である。 本稿では,音声テキストと音声の発話から,関節角度の連続を生成できる新しいフレームワークを提案する。 条件付き生成型adversarial network(gan)に基づいて,提案するニューラルネットワークモデルは,音声入力から,協調ジェスチャと意味的・音響的特徴の関係を学習する。 ニューラルネットモデルをトレーニングするために,男性1人の英語話者から抽出した音声音声の発話に対応する音声ジェスチャーを含む公開データセットを用いた。 客観的および主観的評価の結果から,ロボットと身体エージェントのためのジェスチャー生成フレームワークの有効性が示された。

関連論文リスト

• Moshi: a speech-text foundation model for real-time dialogue [78.88479749811376]
  現在の音声対話システムは、パイプラインの独立した音声活動検出と音声合成に依存している。 そこで本研究では,Moshi Moshiが音声認識と音声合成を実現する方法を紹介する。 得られたモデルは、初めてリアルタイムな全音声大言語モデルモダリティである。
  論文  参考訳（メタデータ） (2024-09-17T17:55:39Z)
• SIFToM: Robust Spoken Instruction Following through Theory of Mind [51.326266354164716]
  本稿では,認知にインスパイアされた音声指導モデルであるSIFToMを提案し,多様な音声条件下でロボットが人間の指示を実践的に追従できるようにする。 結果から,SIFToMモデルは現状の音声モデルや言語モデルよりも優れており,課題に追従する音声命令に対する人間レベルの精度に近づいていることがわかった。
  論文  参考訳（メタデータ） (2024-09-17T02:36:10Z)
• Talk With Human-like Agents: Empathetic Dialogue Through Perceptible Acoustic Reception and Reaction [23.115506530649988]
  PerceptiveAgentは、より深い意味またはより微妙な意味を識別するために設計された共感的マルチモーダル対話システムである。 PerceptiveAgentは入力音声から音響情報を知覚し、自然言語で記述された話し方に基づいて共感応答を生成する。
  論文  参考訳（メタデータ） (2024-06-18T15:19:51Z)
• Diffusion-Based Co-Speech Gesture Generation Using Joint Text and Audio Representation [18.04996323708772]
  本稿では,2023年度のGenEA (Generation and Evaluation of Non-verbal Behaviour for Embodied Agents) Challengeのために開発されたシステムについて述べる。 本研究では,音声とジェスチャーの組込み学習を行うCSMPモジュールを提案する。 CSMPモジュールの出力は拡散に基づくジェスチャー合成モデルにおける条件付け信号として使用される。
  論文  参考訳（メタデータ） (2023-09-11T13:51:06Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)
• Few-shot Language Coordination by Modeling Theory of Mind [95.54446989205117]
  我々は、数ショット$textit language coordinate$のタスクについて研究する。 リードエージェントは、言語能力の異なるエージェントの$textitpopulation$と調整する必要があります。 これは、人間のコミュニケーションの重要な構成要素であるパートナーの信念をモデル化する能力を必要とする。
  論文  参考訳（メタデータ） (2021-07-12T19:26:11Z)
• Passing a Non-verbal Turing Test: Evaluating Gesture Animations Generated from Speech [6.445605125467574]
  本稿では,音声から直接ジェスチャーを生成する新しいデータ駆動手法を提案する。 本手法は,音声とジェスチャーの因果関係をモデル化するためのGAN(Generative Adversarial Neural Networks)の適用に基づく。 本研究では,仮想キャラクタ上で生成されたジェスチャをアニメーション化し,ユーザが生成したジェスチャと記録したジェスチャを区別できないことを示す。
  論文  参考訳（メタデータ） (2021-07-01T19:38:43Z)
• Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot [58.2026611111328]
  人の顔を見ることは、ノイズの多い環境での音声のフィルタリングに人間が依存するメカニズムの1つである。 スピーカーに目を向けるロボットを持つことは、挑戦的な環境でのASRのパフォーマンスに恩恵をもたらす可能性がある。 本稿では,人間の初期発達に触発された自己指導型強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-12T18:02:15Z)
• Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity [21.61168067832304]
  本稿では、音声テキスト、音声、話者識別のマルチモーダルコンテキストを用いてジェスチャーを確実に生成する自動ジェスチャー生成モデルを提案する。 提案手法を用いた評価実験により,提案したジェスチャー生成モデルは既存のエンドツーエンド生成モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-09-04T11:42:45Z)
• Gesticulator: A framework for semantically-aware speech-driven gesture generation [17.284154896176553]
  任意のビートとセマンティックなジェスチャーを同時に生成するモデルを提案する。 深層学習に基づくモデルでは、音声の音響的表現と意味的表現の両方を入力とし、入力として関節角回転の列としてジェスチャーを生成する。 結果として得られるジェスチャーは、仮想エージェントとヒューマノイドロボットの両方に適用できる。
  論文  参考訳（メタデータ） (2020-01-25T14:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。