Fugu-MT 論文翻訳(概要): Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks

論文の概要: Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks

arxiv url: http://arxiv.org/abs/2109.02096v1
Date: Sun, 5 Sep 2021 15:06:53 GMT
ステータス: 処理完了
システム内更新日: 2021-09-08 05:26:47.526294
Title: Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks
Title（参考訳）: 変分オートエンコーディングと周期整合逆ネットワークを用いた音色伝達
Authors: Russell Sammut Bonnici, Charalampos Saitis, Martin Benning
Abstract要約: 本研究は,音源音の音色を目標音の音色に変換し,音質の低下を最小限に抑えた深層学習の音色伝達への適用について検討する。この手法は、変分オートエンコーダとジェネレーティブ・アドバイサル・ネットワークを組み合わせて、音源の有意義な表現を構築し、ターゲット音声の現実的な世代を生成する。
参考スコア（独自算出の注目度）: 0.6445605125467573
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This research project investigates the application of deep learning to timbre transfer, where the timbre of a source audio can be converted to the timbre of a target audio with minimal loss in quality. The adopted approach combines Variational Autoencoders with Generative Adversarial Networks to construct meaningful representations of the source audio and produce realistic generations of the target audio and is applied to the Flickr 8k Audio dataset for transferring the vocal timbre between speakers and the URMP dataset for transferring the musical timbre between instruments. Furthermore, variations of the adopted approach are trained, and generalised performance is compared using the metrics SSIM (Structural Similarity Index) and FAD (Frech\'et Audio Distance). It was found that a many-to-many approach supersedes a one-to-one approach in terms of reconstructive capabilities, and that the adoption of a basic over a bottleneck residual block design is more suitable for enriching content information about a latent space. It was also found that the decision on whether cyclic loss takes on a variational autoencoder or vanilla autoencoder approach does not have a significant impact on reconstructive and adversarial translation aspects of the model.
Abstract（参考訳）: 本研究は,音源音の音色を目標音の音色に変換し,音質の低下を最小限に抑えた深層学習の音色伝達への適用について検討する。提案手法は,変分オートエンコーダとジェネレーティブ・アドバーサリアル・ネットワークを組み合わせることで,音源の有意義な表現を構築し,ターゲット音声の現実的な世代を生成し,話者間で声帯を伝達するFlickr 8k Audioデータセットと楽器間で音色を伝達するURMPデータセットに適用する。さらに、採用手法のバリエーションを訓練し、SSIM(Structural similarity Index)とFAD(Frech\'et Audio Distance)を用いて一般化性能を比較する。多対多のアプローチは、復元能力の観点から1対1のアプローチに取って代わり、ボトルネック残余ブロック設計よりも基本の採用が潜在空間に関するコンテンツ情報を強化するのにより適していることが判明した。また, 周期的損失が変分オートエンコーダやバニラオートエンコーダアプローチに負うか否かの決定は, モデルの再構成および対角翻訳面に有意な影響を及ぼさないことがわかった。

関連論文リスト

AutoCycle-VC: Towards Bottleneck-Independent Zero-Shot Cross-Lingual Voice Conversion [2.3443118032034396]
本稿では,サイクル構造とメル-スペクトログラム前処理を備えた,シンプルで堅牢なゼロショット音声変換システムを提案する。我々のモデルは、主観的・客観的評価において、既存の最先端の成果よりも優れています。
論文参考訳（メタデータ） (2023-10-10T11:50:16Z)
Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation [22.28510611697998]
本稿では,この課題に対処するための新しいtextbfAudio-aware query-enhanced textbfTRansformer (AuTR) を提案する。既存の手法とは異なり,本手法では,音声・視覚機能の深層融合と集約を可能にするマルチモーダルトランスフォーマーアーキテクチャを導入している。
論文参考訳（メタデータ） (2023-07-25T03:59:04Z)
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
論文参考訳（メタデータ） (2023-06-19T03:10:57Z)
AudioSlots: A slot-centric generative model for audio separation [26.51135156983783]
本稿では,音声領域におけるブラインド音源分離のためのスロット中心生成モデルであるAudioSlotsを提案する。我々は、置換同変損失関数を用いて、エンド・ツー・エンドでモデルを訓練する。 We results on Libri2Mix speech separation is a proof of concept that this approach shows promise。
論文参考訳（メタデータ） (2023-05-09T16:28:07Z)
End-to-End Binaural Speech Synthesis [71.1869877389535]
本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
論文参考訳（メタデータ） (2022-07-08T05:18:36Z)
Robust Semantic Communications with Masked VQ-VAE Enabled Codebook [56.63571713657059]
本稿では,ロバストなエンドツーエンドのセマンティック通信システムにおいて,セマンティックノイズに対処するためのフレームワークを提案する。セマンティックノイズに対処するため、重み付き対向トレーニングを開発し、トレーニングデータセットにセマンティックノイズを組み込む。ノイズやタスク非関連の特徴を抑える機能重要モジュール (FIM) を開発した。
論文参考訳（メタデータ） (2022-06-08T16:58:47Z)
Robust Disentangled Variational Speech Representation Learning for Zero-shot Voice Conversion [34.139871476234205]
自己教師付き不協和音声表現学習の新たな視点からゼロショット音声変換について検討する。任意の話者埋め込みとコンテンツ埋め込みとを逐次変分オートエンコーダ(VAE)デコーダに供給してゼロショット音声変換を行う。 TIMIT と VCTK のデータセットでは,話者の埋め込みとコンテンツ埋め込みに関する話者検証 (SV) と主観的評価,すなわち音声の自然性や類似性を両立させ,ノイズのある音源/ターゲット発話においても頑健である。
論文参考訳（メタデータ） (2022-03-30T23:03:19Z)
Joint Speech Recognition and Audio Captioning [37.205642807313545]
室内と屋外の両方で録音された音声サンプルは、しばしば二次音源で汚染される。自動音声キャプション(AAC)の進展する分野と、徹底的に研究された自動音声認識(ASR)を一体化することを目的としている。本稿では,ASRタスクとAACタスクのエンドツーエンド共同モデリングのためのいくつかのアプローチを提案する。
論文参考訳（メタデータ） (2022-02-03T04:42:43Z)
PILOT: Introducing Transformers for Probabilistic Sound Event Localization [107.78964411642401]
本稿では,受信したマルチチャンネル音声信号の時間的依存性を自己アテンション機構によってキャプチャする,トランスフォーマーに基づく新しい音声イベント定位フレームワークを提案する。このフレームワークは, 公開されている3つの音声イベントローカライズデータセットを用いて評価し, 局所化誤差と事象検出精度の点で最先端の手法と比較した。
論文参考訳（メタデータ） (2021-06-07T18:29:19Z)
Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
論文参考訳（メタデータ） (2020-09-06T13:01:06Z)
Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。合成音声は、対象楽器の音色及び調音を模倣する。
論文参考訳（メタデータ） (2020-08-30T05:27:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。