論文の概要: End-to-end streaming model for low-latency speech anonymization

• arxiv url: http://arxiv.org/abs/2406.09277v2
• Date: Thu, 31 Oct 2024 20:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-04 14:32:50.227912
• Title: End-to-end streaming model for low-latency speech anonymization
• Title（参考訳）: 低レイテンシ音声匿名化のためのエンドツーエンドストリーミングモデル
• Authors: Waris Quamer, Ricardo Gutierrez-Osuna,
• Abstract要約: 本稿では低レイテンシで話者匿名化を実現するストリーミングモデルを提案する。 システムは軽量コンテンツエンコーダを用いてエンドツーエンドのオートエンコーダ方式で訓練される。 本稿では,2つのシステムの実装による評価結果について述べる。
• 参考スコア（独自算出の注目度）: 11.098498920630782
• License:
• Abstract: Speaker anonymization aims to conceal cues to speaker identity while preserving linguistic content. Current machine learning based approaches require substantial computational resources, hindering real-time streaming applications. To address these concerns, we propose a streaming model that achieves speaker anonymization with low latency. The system is trained in an end-to-end autoencoder fashion using a lightweight content encoder that extracts HuBERT-like information, a pretrained speaker encoder that extract speaker identity, and a variance encoder that injects pitch and energy information. These three disentangled representations are fed to a decoder that re-synthesizes the speech signal. We present evaluation results from two implementations of our system, a full model that achieves a latency of 230ms, and a lite version (0.1x in size) that further reduces latency to 66ms while maintaining state-of-the-art performance in naturalness, intelligibility, and privacy preservation.
• Abstract（参考訳）: 話者匿名化は、言語コンテンツを保持しながら話者識別に手がかりを隠蔽することを目的としている。 現在の機械学習ベースのアプローチは、リアルタイムストリーミングアプリケーションを妨げる、かなりの計算資源を必要とする。 これらの問題に対処するため,低レイテンシで話者匿名化を実現するストリーミングモデルを提案する。 このシステムは、HuBERTのような情報を抽出する軽量コンテンツエンコーダ、話者識別を抽出する事前訓練された話者エンコーダ、ピッチとエネルギー情報を注入する分散エンコーダを用いて、エンドツーエンドのオートエンコーダ方式で訓練される。 これら3つの非絡み合った表現は、音声信号を再合成するデコーダに送られる。 本稿では,2つのシステムの実装,230msのレイテンシを実現するフルモデル,66msのレイテンシをさらに低減し,自然性,知性,プライバシ保護の最先端性能を維持しながら,そのレイテンシを66msに低減するライトバージョン(0.1倍)について評価する。

関連論文リスト

• Fill in the Gap! Combining Self-supervised Representation Learning with Neural Audio Synthesis for Speech Inpainting [14.402357651227003]
  本稿では,音声信号の欠落部分を周囲の文脈から再構成する音声認識用SSLモデルについて検討する。 その目的のために、SSLエンコーダ、すなわち HuBERT とニューラルヴォコーダ、すなわち HiFiGAN を組み合わせてデコーダの役割を演じる。
  論文  参考訳（メタデータ） (2024-05-30T14:41:39Z)
• Self-Supervised Learning for Speech Enhancement through Synthesis [5.924928860260821]
  そこで本研究では,ボコーダが雑音表現を受け入れ,クリーンな音声を直接合成する方法を学習する,デノナイズドボコーダ(DeVo)アプローチを提案する。 10msのレイテンシとパフォーマンスの低下を最小限に抑えながら,ストリーミングオーディオ上で動作可能な因果バージョンを実証した。
  論文  参考訳（メタデータ） (2022-11-04T16:06:56Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer [0.4588028371034407]
  効率的な拡張メモリ変換器ブロックと動的遅延学習法を用いたフレームレベルモデルを用いて音声認識のストリーミングを行う。 平均レイテンシは640msであり,テストクリーンでは6.4%,他では3.0%,チャンクワイドトランスでは3.0%の相対的なWER削減を実現している。
  論文  参考訳（メタデータ） (2022-03-29T14:31:06Z)
• SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
  本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。 SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。 エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
  論文  参考訳（メタデータ） (2021-07-07T15:45:42Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Streaming Attention-Based Models with Augmented Memory for End-to-End Speech Recognition [26.530909772863417]
  コンボリューションを付加したアテンションベースのモジュールを用いた,エンドツーエンドのニューラルトランスデューサアーキテクチャ上に,コンパクトでストリーミングな音声認識システムを構築した。 提案システムは,ストリーミング機能を備えたエンドツーエンドモデルと,拡張メモリを用いたストリーミングアテンションベースモデルからのフットプリントを大幅に削減する。 LibriSpeechデータセットでは,テストクリーンで2.7%,他で5.8%の単語誤り率を実現している。
  論文  参考訳（メタデータ） (2020-11-03T00:43:58Z)
• VoiceFilter-Lite: Streaming Targeted Voice Separation for On-Device Speech Recognition [60.462770498366524]
  ターゲットユーザからの音声信号のみを保存するためにデバイス上で実行される単一チャネルソース分離モデルであるVoiceFilter-Liteを導入する。 本研究では,そのようなモデルを8ビット整数モデルとして量子化し,リアルタイムに実行可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-09T14:26:56Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。