論文の概要: Singer Identity Representation Learning using Self-Supervised Techniques

• arxiv url: http://arxiv.org/abs/2401.05064v1
• Date: Wed, 10 Jan 2024 10:41:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 14:53:29.810515
• Title: Singer Identity Representation Learning using Self-Supervised Techniques
• Title（参考訳）: 自己教師技術を用いた歌手のアイデンティティ表現学習
• Authors: Bernardo Torres, Stefan Lattner and Ga\"el Richard
• Abstract要約: 歌唱関連タスクに適した表現を抽出するシンガーアイデンティティエンコーダを訓練するためのフレームワークを提案する。 我々は,孤立した音声トラックの集合体上で,異なる自己教師付き学習手法を探索する。 歌手の類似度と識別タスクにおける表現の質を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Significant strides have been made in creating voice identity representations using speech data. However, the same level of progress has not been achieved for singing voices. To bridge this gap, we suggest a framework for training singer identity encoders to extract representations suitable for various singing-related tasks, such as singing voice similarity and synthesis. We explore different self-supervised learning techniques on a large collection of isolated vocal tracks and apply data augmentations during training to ensure that the representations are invariant to pitch and content variations. We evaluate the quality of the resulting representations on singer similarity and identification tasks across multiple datasets, with a particular emphasis on out-of-domain generalization. Our proposed framework produces high-quality embeddings that outperform both speaker verification and wav2vec 2.0 pre-trained baselines on singing voice while operating at 44.1 kHz. We release our code and trained models to facilitate further research on singing voice and related areas.
• Abstract（参考訳）: 音声データを用いた音声識別表現の作成において重要な進歩を遂げている。 しかし、同じレベルの進歩は歌声では達成されていない。 このギャップを埋めるために,歌唱音声の類似性や合成など,歌唱関連タスクに適した表現を抽出するシンガーアイデンティティエンコーダを訓練するためのフレームワークを提案する。 分離された声帯の膨大な集合上で,様々な自己教師付き学習手法を探索し,訓練中にデータ拡張を適用し,その表現がピッチやコンテンツの変動に不変であることを保証する。 複数のデータセットにまたがるシンガー類似性や識別タスクの表現の質を評価し、特にドメイン外一般化に重点を置いている。 提案手法は, 44.1kHzで動作しながら, 歌唱音声における話者検証とwav2vec 2.0の事前学習ベースラインよりも優れた高品質な埋め込みを生成する。 コードとトレーニングモデルをリリースし、歌声と関連する分野に関するさらなる研究を支援します。

関連論文リスト

• StyleSinger: Style Transfer for Out-of-Domain Singing Voice Synthesis [65.56386869666025]
  ドメイン外歌唱音声合成(SVS)のためのスタイル転送は、目に見えないスタイルで高品質な歌唱音声を生成することに焦点を当てている。 StyleSingerは、ドメイン外参照音声サンプルのゼロショットスタイル転送のための最初の歌声合成モデルである。 ゼロショット・スタイル・トランスファーにおける評価は、StyleSingerが基準歌唱音声サンプルの音質と類似性の両方でベースライン・モデルより優れていることを不確実に証明している。
  論文  参考訳（メタデータ） (2023-12-17T15:26:16Z)
• Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training [82.94349771571642]
  本研究では, メロディ非教師型マルチスピーカ事前学習法を提案し, シングルスピーカの発声域を拡大する。 合成音声のリズム自然性を改善するために、識別可能な持続時間調整器を導入するのは、これが初めてである。 実験により,提案したSVSシステムは,音質と自然性の両方において,ベースラインよりも優れていることを確認した。
  論文  参考訳（メタデータ） (2023-09-01T06:40:41Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Learning the Beauty in Songs: Neural Singing Voice Beautifier [69.21263011242907]
  我々は、新しいタスク、歌声美化(SVB)に興味を持っている。 アマチュア歌手の歌声を考えると、SVBは内容と声の音色を保ちながら、声のイントネーションと声のトーンを改善することを目的としている。 SVBタスクを解く最初の生成モデルであるNSVB(Neural Singing Voice Beautifier)を導入する。
  論文  参考訳（メタデータ） (2022-02-27T03:10:12Z)
• Audiovisual Singing Voice Separation [25.862550744570324]
  ビデオモデルは口の動きを入力し、それをオーディオベースの分離フレームワークの機能埋め込みに融合する。 トレーニングと評価のための2つのオーディオヴィジュアルな歌唱パフォーマンスデータセットを作成します。 提案手法は、ほとんどのテスト記録における分離品質の観点から、音声ベースの手法よりも優れる。
  論文  参考訳（メタデータ） (2021-07-01T06:04:53Z)
• VAW-GAN for Singing Voice Conversion with Non-parallel Training Data [81.79070894458322]
  VAW-GANに基づく歌声変換フレームワークを提案する。 我々はエンコーダを訓練し、歌手のアイデンティティと歌唱の韻律(F0)を音声コンテンツから切り離す。 シンガーIDとF0を条件付けすることにより、デコーダは、目に見えないターゲットシンガーIDの出力スペクトル特徴を生成する。
  論文  参考訳（メタデータ） (2020-08-10T09:44:10Z)
• Unsupervised Cross-Domain Singing Voice Conversion [105.1021715879586]
  任意の同一性から音声変換を行うタスクに対して,wav-to-wav生成モデルを提案する。 提案手法は,自動音声認識のタスクのために訓練された音響モデルとメロディ抽出機能の両方を用いて波形ベースジェネレータを駆動する。
  論文  参考訳（メタデータ） (2020-08-06T18:29:11Z)
• Addressing the confounds of accompaniments in singer identification [29.949390919663596]
  我々は、ソース分離における最先端のパフォーマンスを備えたオープンソースツールであるopen-Unmixを用いて、ボーカルと楽器のトラックを分離する。 次に,歌手識別モデルを学習する2つの方法について検討する。
  論文  参考訳（メタデータ） (2020-02-17T07:49:21Z)
• Speech-to-Singing Conversion in an Encoder-Decoder Framework [38.111942306157545]
  我々は,話し言葉を歌声に変換する問題に対して,学習に基づくアプローチを採っている。 話者の言語内容と音色を保存する歌を合成できるエンコーディングを学習する。
  論文  参考訳（メタデータ） (2020-02-16T15:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。