Fugu-MT 論文翻訳(概要): Deep generative factorization for speech signal

論文の概要: Deep generative factorization for speech signal

arxiv url: http://arxiv.org/abs/2010.14242v1
Date: Tue, 27 Oct 2020 12:27:58 GMT
ステータス: 処理完了
システム内更新日: 2022-10-02 13:27:53.911573
Title: Deep generative factorization for speech signal
Title（参考訳）: 音声信号の深部生成因子化
Authors: Haoran Sun, Lantian Li, Yunqi Cai, Yang Zhang, Thomas Fang Zheng, Dong Wang
Abstract要約: 本稿では,新しい因子識別正規化フローモデル(因子DNF)に基づく音声分解手法を提案する。音声コンテンツと話者特性を含む2要素ケースで行った実験は、提案した因子的DNFが音声信号を分解する強力な能力を持っていることを示す。
参考スコア（独自算出の注目度）: 25.047575079871272
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Various information factors are blended in speech signals, which forms the primary difficulty for most speech information processing tasks. An intuitive idea is to factorize speech signal into individual information factors (e.g., phonetic content and speaker trait), though it turns out to be highly challenging. This paper presents a speech factorization approach based on a novel factorial discriminative normalization flow model (factorial DNF). Experiments conducted on a two-factor case that involves phonetic content and speaker trait demonstrates that the proposed factorial DNF has powerful capability to factorize speech signals and outperforms several comparative models in terms of information representation and manipulation.
Abstract（参考訳）: 様々な情報要素が音声信号に混合され、ほとんどの音声情報処理タスクにおいて主要な難易度となる。直感的なアイデアは、音声信号を個々の情報要素(例えば、音声内容と話者特性)に分解することであるが、非常に難しいことが判明した。本稿では,新しい因子識別正規化フローモデル (factorial DNF) に基づく音声分解手法を提案する。音声コンテンツと話者特性を含む2要素ケースで行った実験は、提案した因子的DNFが、音声信号を分解し、情報表現と操作の観点から比較モデルより優れていることを示す。

関連論文リスト

Disentangling Textual and Acoustic Features of Neural Speech Representations [23.486891834252535]
我々は,複雑な音声表現のためのアンタングル化フレームワークを提案するために,インフォメーション・ボトルネックの原理に基づいて構築する。我々は、感情認識と話者識別のための枠組みを下流のタスクに適用する。
論文参考訳（メタデータ） (2024-10-03T22:48:04Z)
NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models [127.47252277138708]
ゼロショット方式で自然な音声を生成するために,分解拡散モデルを備えたTSSシステムであるNaturalSpeech 3を提案する。具体的には、分解ベクトル量子化(FVQ)を用いて、音声波形をコンテンツ、韻律、音色、音響的詳細の部分空間に分解する。実験により、NaturalSpeech 3は、品質、類似性、韻律、知性において最先端のTSSシステムより優れていることが示された。
論文参考訳（メタデータ） (2024-03-05T16:35:25Z)
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
論文参考訳（メタデータ） (2023-12-23T18:14:56Z)
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis [3.6159128762538018]
フローに基づく事前ネットワークの正規化は,品質の低下を犠牲にして,より表現力の高い音声が得られることを示す。また,フローベースモデルと比較して表現性や変動性は低いものの,高品質な音声を生成できる動的VAEモデルを提案する。
論文参考訳（メタデータ） (2022-11-02T17:45:01Z)
SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
論文参考訳（メタデータ） (2022-09-30T09:12:10Z)
Towards Disentangled Speech Representations [65.7834494783044]
本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
論文参考訳（メタデータ） (2022-08-28T10:03:55Z)
Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders [0.0]
連続変数は、テキスト中のほとんどの生成因子が離散的であるという事実から、テキストデータの特徴をモデル化するのに理想的ではないかもしれない。本稿では,言語特徴を離散変数としてモデル化し,不整合表現を学習するための変数間の独立性を促進する変分自動符号化手法を提案する。
論文参考訳（メタデータ） (2021-09-15T09:10:05Z)
General-Purpose Speech Representation Learning through a Self-Supervised Multi-Granularity Framework [114.63823178097402]
本稿では,汎用音声表現学習のための自己教師型学習フレームワーク MGF を提案する。具体的には、生成学習手法を用いて、小さな時間スケールできめ細かい情報を捕捉し、識別学習手法を用いて、粗い情報や意味情報を大規模に蒸留することを提案する。
論文参考訳（メタデータ） (2021-02-03T08:13:21Z)
Adversarially learning disentangled speech representations for robust multi-factor voice conversion [39.91395314356084]
本稿では,敵対的学習に基づくアンタングル型音声表現学習フレームワークを提案する。内容、音色、リズム、ピッチを特徴付ける4つの音声表現を抽出し、さらに混乱させる。実験の結果,提案手法はVCの頑健性を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2021-01-30T08:29:55Z)
SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文参考訳（メタデータ） (2020-10-05T19:29:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。