論文の概要: Self-Supervised Learning of Context-Aware Pitch Prosody Representations

• arxiv url: http://arxiv.org/abs/2007.09060v4
• Date: Sun, 1 Aug 2021 05:16:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-09 13:49:04.101349
• Title: Self-Supervised Learning of Context-Aware Pitch Prosody Representations
• Title（参考訳）: 文脈対応ピッチ韻律表現の自己教師付き学習
• Authors: Camille Noufi and Prateek Verma
• Abstract要約: 短歌声帯の文脈表現を基本周波数から暗黙的に学習する方法を示す。 これら2つの文脈の擬似タスク学習を活用する3つの自己教師型ディープラーニングパラダイムを提案する。 その結果,従来の統計的輪郭特性と比較して,文脈表現は下流の分類を最大15%向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 3.2489082010225485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In music and speech, meaning is derived at multiple levels of context. Affect, for example, can be inferred both by a short sound token and by sonic patterns over a longer temporal window such as an entire recording. In this letter, we focus on inferring meaning from this dichotomy of contexts. We show how contextual representations of short sung vocal lines can be implicitly learned from fundamental frequency ($F_0$) and thus be used as a meaningful feature space for downstream Music Information Retrieval (MIR) tasks. We propose three self-supervised deep learning paradigms which leverage pseudotask learning of these two levels of context to produce latent representation spaces. We evaluate the usefulness of these representations by embedding unseen pitch contours into each space and conducting downstream classification tasks. Our results show that contextual representation can enhance downstream classification by as much as 15\% as compared to using traditional statistical contour features.
• Abstract（参考訳）: 音楽や音声において、意味は複数の文脈で導き出される。 例えば、影響は短いサウンドトークンと、録音全体のようなより長い時間窓上の音素パターンの両方によって推測することができる。 本文では、文脈のこの二分法から意味を推測することに焦点を当てる。 短い歌唱音声の文脈表現を基本周波数(f_0$)から暗黙的に学習し、下流の音楽情報検索(mir)タスクにおいて有意義な特徴空間として利用できることを示す。 本稿では,これらの2段階の文脈の擬似タスク学習を活用して潜在表現空間を生成する3つの自己教師型深層学習パラダイムを提案する。 各空間にピッチ輪郭を埋め込み,下流分類作業を行うことで,これらの表現の有用性を評価する。 その結果,コンテクスト表現は,従来の統計的輪郭特徴と比較して,下流分類を最大15%向上できることがわかった。

関連論文リスト

• Learning Separable Hidden Unit Contributions for Speaker-Adaptive Lip-Reading [73.59525356467574]
  話者自身の特徴は、ほとんど顔画像や浅いネットワークを持つ単一の画像によって常にうまく表現できる。 話し手によって表現される音声コンテンツに付随するきめ細かい動的特徴には、常に深いシーケンシャルネットワークが必要である。 私たちのアプローチは、既存の方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-10-08T07:48:25Z)
• Unsupervised Improvement of Audio-Text Cross-Modal Representations [19.960695758478153]
  本研究では、教師なしのテキストと音声を用いて、そのような表現の学習フレームワークを改善するための教師なしのアプローチについて研究する。 ドメイン固有のキュレーションをソフトラベル付きコントラスト損失と併用することで、ゼロショット分類性能において大幅な改善が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-03T02:30:46Z)
• Learning utterance-level representations through token-level acoustic latents prediction for Expressive Speech Synthesis [3.691712391306624]
  細粒度潜在空間もまた粗粒度情報を捉えており、これは多彩な韻律表現を捉えるために潜在空間の次元が大きくなるにつれて明らかである。 本稿では、まず、豊富な音声属性をトークンレベル潜在空間にキャプチャし、入力テキストを付与した先行ネットワークを個別に訓練し、前ステップで抽出した音素レベル後潜在音を予測するために、発話レベル表現を学習することでこの問題を軽減する。
  論文  参考訳（メタデータ） (2022-11-01T15:17:25Z)
• VCSE: Time-Domain Visual-Contextual Speaker Extraction Network [54.67547526785552]
  本稿では,VCSEという2段階の時間領域視覚コンテキスト話者抽出ネットワークを提案する。 第1段階では、視覚的手がかりで対象音声を事前抽出し、基礎となる音声系列を推定する。 第2段階では、事前抽出されたターゲット音声を自己学習した文脈的手がかりで洗練する。
  論文  参考訳（メタデータ） (2022-10-09T12:29:38Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• DirectProbe: Studying Representations without Classifiers [21.23284793831221]
  DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。 いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
  論文  参考訳（メタデータ） (2021-04-13T02:40:26Z)
• Deep Learning for Prominence Detection in Children's Read Speech [13.041607703862724]
  子どもの読書記録のラベル付きデータセットを,話者に依存しない著名単語の検出のために検討する。 事前調整されたランダムフォレストアンサンブル予測器をRNNシーケンスに置き換え、潜在的なコンテキスト依存性を利用する。 深層学習を用いて、基本周波数、強度、スペクトル形状の低レベル音響輪郭から単語レベル特徴を得る。
  論文  参考訳（メタデータ） (2021-04-12T14:15:08Z)
• Speech Resynthesis from Discrete Disentangled Self-Supervised Representations [49.48053138928408]
  音声合成作業に自己教師付き離散表現を用いることを提案する。 音声コンテンツ、韻律情報、話者識別のための低ビット表現を抽出する。 得られた表現を使用することで、ベースラインメソッドよりも優れた音声品質を提供しながら、毎秒365ビットのレートが得られる。
  論文  参考訳（メタデータ） (2021-04-01T09:20:33Z)
• Incorporating Visual Semantics into Sentence Representations within a Grounded Space [20.784771968813747]
  本研究では,中間表現空間である接地空間を学習することにより,視覚情報をテキスト表現に転送することを提案する。 本モデルは,従来の分類と意味的関連性タスクよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-02-07T12:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。