Fugu-MT 論文翻訳(概要): Affective social anthropomorphic intelligent system

論文の概要: Affective social anthropomorphic intelligent system

arxiv url: http://arxiv.org/abs/2304.11046v1
Date: Wed, 19 Apr 2023 18:24:57 GMT
ステータス: 処理完了
システム内更新日: 2023-04-24 14:15:44.199525
Title: Affective social anthropomorphic intelligent system
Title（参考訳）: 情緒的社会人型知的システム
Authors: Md. Adyelullahil Mamun, Hasnat Md. Abdullah, Md. Golam Rabiul Alam, Muhammad Mehedi Hassan and Md. Zia Uddin
Abstract要約: 本研究は、感情や性格と人間のような適切な会話をすることができる人間型知的システムを提案する。特定の感情の属性をマッピングするために,音声スタイルの伝達法も提案されている。
参考スコア（独自算出の注目度）: 1.7849339006560665
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Human conversational styles are measured by the sense of humor, personality, and tone of voice. These characteristics have become essential for conversational intelligent virtual assistants. However, most of the state-of-the-art intelligent virtual assistants (IVAs) are failed to interpret the affective semantics of human voices. This research proposes an anthropomorphic intelligent system that can hold a proper human-like conversation with emotion and personality. A voice style transfer method is also proposed to map the attributes of a specific emotion. Initially, the frequency domain data (Mel-Spectrogram) is created by converting the temporal audio wave data, which comprises discrete patterns for audio features such as notes, pitch, rhythm, and melody. A collateral CNN-Transformer-Encoder is used to predict seven different affective states from voice. The voice is also fed parallelly to the deep-speech, an RNN model that generates the text transcription from the spectrogram. Then the transcripted text is transferred to the multi-domain conversation agent using blended skill talk, transformer-based retrieve-and-generate generation strategy, and beam-search decoding, and an appropriate textual response is generated. The system learns an invertible mapping of data to a latent space that can be manipulated and generates a Mel-spectrogram frame based on previous Mel-spectrogram frames to voice synthesize and style transfer. Finally, the waveform is generated using WaveGlow from the spectrogram. The outcomes of the studies we conducted on individual models were auspicious. Furthermore, users who interacted with the system provided positive feedback, demonstrating the system's effectiveness.
Abstract（参考訳）: 人間の会話スタイルは、ユーモア、性格、声のトーンの感覚によって測定される。これらの特徴は会話型知的バーチャルアシスタントに欠かせないものとなっている。しかし、最先端のインテリジェントバーチャルアシスタント(IVAs)のほとんどは、人間の声の感情的意味論を解釈できない。本研究は、感情や性格と人間のような適切な会話をすることができる人間型知的システムを提案する。特定の感情の属性をマップするために、音声スタイル転送法も提案されている。当初、周波数領域データ(Mel-Spectrogram)は、音符、ピッチ、リズム、メロディなどの音声特徴の離散パターンを含む時間音波データを変換することによって作成される。 CNN-Transformer-Encoderは、音声から7つの異なる感情状態を予測するために使用される。音声はまた、スペクトルからテキストの転写を生成するrnnモデルであるdeep-speechと並行して供給される。そして、合成スキルトーク、トランスフォーマーベース検索生成戦略、ビーム検索復号を用いて、転写テキストを多領域会話エージェントに転送し、適切なテキスト応答を生成する。このシステムは、操作可能な潜在空間へのデータの可逆的マッピングを学習し、以前のメル・スペクトログラムフレームに基づいてメル・スペクトログラムフレームを生成し、音声合成およびスタイル転送を行う。最後に、波形はスペクトログラムからWaveGlowを用いて生成される。個々のモデルで行った研究の結果は注目に値するものだった。さらに、システムと対話したユーザはポジティブなフィードバックを提供し、システムの有効性を実証した。

関連論文リスト

Speech2UnifiedExpressions: Synchronous Synthesis of Co-Speech Affective Face and Body Expressions from Affordable Inputs [67.27840327499625]
本稿では,デジタル文字の表情と上半身ジェスチャーを同時に合成するマルチモーダル学習手法を提案する。提案手法は, 映像データから直接推定される, まばらな顔のランドマークと上体関節から学習し, もっともらしい感情的性格運動を生成する。
論文参考訳（メタデータ） (2024-06-26T04:53:11Z)
Non-autoregressive real-time Accent Conversion model with voice cloning [0.0]
我々は音声クローンを用いたリアルタイムアクセント変換のための非自己回帰モデルを開発した。このモデルは入力L2音声に基づいて最小レイテンシでネイティブなL1音声を生成する。このモデルは、話者の声の音色、性別、アクセントをリアルタイムで保存し、クローンし、変更することができる。
論文参考訳（メタデータ） (2024-05-21T19:07:26Z)
EmoDiarize: Speaker Diarization and Emotion Identification from Speech Signals using Convolutional Neural Networks [0.0]
本研究では,音声認識における深層学習技術の統合について検討する。既存の話者ダイアリゼーションパイプラインと、畳み込みニューラルネットワーク(CNN)上に構築された感情識別モデルを組み合わせたフレームワークを導入する。提案モデルでは,63%の非重み付き精度が得られ,音声信号中の感情状態を正確に同定する上で,顕著な効率性を示した。
論文参考訳（メタデータ） (2023-10-19T16:02:53Z)
Audio is all in one: speech-driven gesture synthetics using WavLM pre-trained model [2.827070255699381]
diffmotion-v2は、WavLM事前学習モデルを用いた音声条件拡散に基づく生成モデルである。生音声のみを使用して、個人的でスタイリングされたフルボディの音声合成ジェスチャを生成することができる。
論文参考訳（メタデータ） (2023-08-11T08:03:28Z)
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
論文参考訳（メタデータ） (2022-11-12T00:54:09Z)
Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
論文参考訳（メタデータ） (2022-04-18T17:58:04Z)
Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
論文参考訳（メタデータ） (2021-11-14T18:16:42Z)
Direct speech-to-speech translation with discrete units [64.19830539866072]
本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
論文参考訳（メタデータ） (2021-07-12T17:40:43Z)
Few Shot Adaptive Normalization Driven Multi-Speaker Speech Synthesis [18.812696623555855]
複数発話音声合成手法 (FSM-SS) を提案する。 FSM-SSは、未確認者の入力テキストと参照音声サンプルから、その人のスタイルで数ショットで音声を生成することができる。正規化のアフィンパラメータがエネルギーや基本周波数などの韻律的特徴を捉えるのにどのように役立つかを示す。
論文参考訳（メタデータ） (2020-12-14T04:37:07Z)
Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。