Fugu-MT 論文翻訳(概要): GesGPT: Speech Gesture Synthesis With Text Parsing from GPT

論文の概要: GesGPT: Speech Gesture Synthesis With Text Parsing from GPT

arxiv url: http://arxiv.org/abs/2303.13013v2
Date: Tue, 28 May 2024 02:53:44 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 12:47:48.136767
Title: GesGPT: Speech Gesture Synthesis With Text Parsing from GPT
Title（参考訳）: GesGPT:GPTからのテキスト解析による音声ジェスチャー合成
Authors: Nan Gao, Zeyu Zhao, Zhi Zeng, Shuwu Zhang, Dongdong Weng, Yihua Bao,
Abstract要約: ジェスチャー合成は重要な研究分野として注目されている。深層学習に基づくアプローチは目覚ましい進歩を遂げているが、テキストに存在するリッチな意味情報を見落としていることが多い。本稿では,大規模言語モデルの意味解析機能を活用したジェスチャ生成手法であるGesGPTを提案する。
参考スコア（独自算出の注目度）: 8.18076191897917
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gesture synthesis has gained significant attention as a critical research field, aiming to produce contextually appropriate and natural gestures corresponding to speech or textual input. Although deep learning-based approaches have achieved remarkable progress, they often overlook the rich semantic information present in the text, leading to less expressive and meaningful gestures. In this letter, we propose GesGPT, a novel approach to gesture generation that leverages the semantic analysis capabilities of large language models , such as ChatGPT. By capitalizing on the strengths of LLMs for text analysis, we adopt a controlled approach to generate and integrate professional gestures and base gestures through a text parsing script, resulting in diverse and meaningful gestures. Firstly, our approach involves the development of prompt principles that transform gesture generation into an intention classification problem using ChatGPT. We also conduct further analysis on emphasis words and semantic words to aid in gesture generation. Subsequently, we construct a specialized gesture lexicon with multiple semantic annotations, decoupling the synthesis of gestures into professional gestures and base gestures. Finally, we merge the professional gestures with base gestures. Experimental results demonstrate that GesGPT effectively generates contextually appropriate and expressive gestures.
Abstract（参考訳）: ジェスチャー合成は、文脈的に適切で自然なジェスチャーを音声やテキストの入力に対応付けることを目的として、重要な研究分野として注目されている。深層学習に基づくアプローチは目覚ましい進歩を遂げているが、しばしばテキストに存在する豊かな意味情報を見落とし、表現力や意味のあるジェスチャーを少なくする。本稿では,ChatGPTのような大規模言語モデルの意味解析機能を活用したジェスチャ生成手法であるGesGPTを提案する。テキスト解析のためのLLMの強みを活かして、テキスト解析スクリプトを通じてプロのジェスチャーとベースジェスチャを生成し、統合する制御アプローチを採用し、多様かつ有意義なジェスチャーをもたらす。まず,ジェスチャー生成をChatGPTを用いた意図的分類問題に変換する素早い原理の開発を行う。また,ジェスチャ生成を支援するために,強調語と意味語をさらに分析する。その後、複数の意味アノテーションを付加した特殊なジェスチャー辞書を構築し、ジェスチャーをプロのジェスチャーやベースジェスチャに分解する。最後に、プロのジェスチャーとベースジェスチャをマージします。実験結果から,GesGPTは文脈的に適切かつ表現力のあるジェスチャーを効果的に生成することが示された。

関連論文リスト

Semantic Gesticulator: Semantics-Aware Co-Speech Gesture Synthesis [25.822870767380685]
本稿では,セマンティック・ゲスティキュレータについて述べる。セマンティック・ジェスチャは,セマンティック・ジェスチャを強力なセマンティック・アセプティクスで合成するためのフレームワークである。本システムでは,リズミカルコヒーレントかつセマンティックな動作を生成する上で,ロバスト性を示す。我々のシステムは、意味的適切性の観点から、最先端のシステムよりも明確なマージンで優れています。
論文参考訳（メタデータ） (2024-05-16T05:09:01Z)
Dynamic Typography: Bringing Text to Life via Video Diffusion Prior [73.72522617586593]
動的タイポグラフィー(Dynamic Typography)と呼ばれる自動テキストアニメーション方式を提案する。意味的意味を伝えるために文字を変形させ、ユーザプロンプトに基づいて活気ある動きを注入する。本手法は,ベクトルグラフィックス表現とエンドツーエンド最適化に基づくフレームワークを利用する。
論文参考訳（メタデータ） (2024-04-17T17:59:55Z)
ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis [50.69464138626748]
マルチモーダルなジェスチャー合成のための拡散に基づくアプローチであるConvoFusionを提案する。提案手法は,条件の異なる条件が与える影響をユーザが調節できる2つの誘導目標を提案する。本手法は,モノログジェスチャを生成するか,会話ジェスチャを生成するかの訓練が可能である。
論文参考訳（メタデータ） (2024-03-26T17:59:52Z)
Large language models in textual analysis for gesture selection [2.5169522472327404]
大規模言語モデル(LLM)を用いて,これらの強力なデータモデルがジェスチャ解析や生成に適応可能であることを示す。具体的には、最小限のプロンプトに基づいてデザイナの意図を実現できるコンテキスト固有のジェスチャーを提案するツールとしてChatGPTを使用しました。
論文参考訳（メタデータ） (2023-10-04T14:46:37Z)
LivelySpeaker: Towards Semantic-Aware Co-Speech Gesture Generation [41.42316077949012]
セマンティクスを意識した音声ジェスチャー生成を実現するフレームワークであるLivelySpeakerを紹介する。本手法では,タスクをスクリプトベースのジェスチャー生成とオーディオガイドによるリズム改善の2段階に分割する。新たな2段階生成フレームワークでは,妊娠スタイルの変更など,いくつかの応用が可能となった。
論文参考訳（メタデータ） (2023-09-17T15:06:11Z)
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation [8.604430209445695]
音声によるジェスチャー生成は、人間の動きのランダムなジッタのため、非常に困難である。本稿では,新しい量子化に基づく位相誘導型モーションマッチングフレームワークを提案する。本手法は,音声によるジェスチャー生成における近年の手法よりも優れている。
論文参考訳（メタデータ） (2023-05-18T16:31:25Z)
Audio-Driven Co-Speech Gesture Video Generation [92.15661971086746]
音声駆動型音声合成におけるこの課題を定義し,検討する。私たちの重要な洞察は、共同音声ジェスチャーは共通の動きパターンと微妙なリズムダイナミクスに分解できるということです。本稿では,再利用可能な音声のジェスチャーパターンを効果的に捉えるための新しいフレームワークであるAudio-driveN Gesture vIdeo gEneration(ANGIE)を提案する。
論文参考訳（メタデータ） (2022-12-05T15:28:22Z)
Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
論文参考訳（メタデータ） (2022-04-29T03:53:54Z)
Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
論文参考訳（メタデータ） (2022-03-24T16:33:29Z)
StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery [71.1862388442953]
StyleGAN画像操作のためのテキストベースのインターフェースを開発しています。まず,ユーザが提案するテキストプロンプトに応答して,CLIPに基づく損失を利用して入力潜時ベクトルを変更する最適化手法を提案する。次に、与えられた入力画像に対してテキスト誘導の潜時操作ステップを推論し、より高速で安定したテキストベースの操作を可能にする潜時マッパーについて述べる。
論文参考訳（メタデータ） (2021-03-31T17:51:25Z)
Gesticulator: A framework for semantically-aware speech-driven gesture generation [17.284154896176553]
任意のビートとセマンティックなジェスチャーを同時に生成するモデルを提案する。深層学習に基づくモデルでは、音声の音響的表現と意味的表現の両方を入力とし、入力として関節角回転の列としてジェスチャーを生成する。結果として得られるジェスチャーは、仮想エージェントとヒューマノイドロボットの両方に適用できる。
論文参考訳（メタデータ） (2020-01-25T14:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。