論文の概要: Channel-Aware Domain-Adaptive Generative Adversarial Network for Robust Speech Recognition
- arxiv url: http://arxiv.org/abs/2409.12386v1
- Date: Thu, 19 Sep 2024 01:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 15:14:47.094115
- Title: Channel-Aware Domain-Adaptive Generative Adversarial Network for Robust Speech Recognition
- Title（参考訳）: チャネル対応ドメイン適応型ロバスト音声認識用生成共振器ネットワーク
- Authors: Chien-Chun Wang, Li-Wei Chen, Cheng-Kang Chou, Hung-Shin Lee, Berlin Chen, Hsin-Min Wang,
- Abstract要約: 本稿では,頑健な音声認識訓練のためのチャネル認識データシミュレーション手法を提案する。
提案手法は,チャネル抽出技術とGANの相乗効果を利用する。
台湾におけるハッカ・アクロス・台湾 (HAT) と台湾・アクロス・台湾 (TAT) のコーパスについて, 相対的文字誤り率 (CER) を 20.02% と 9.64% の減少率で評価した。
- 参考スコア（独自算出の注目度）: 23.9811164130045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While pre-trained automatic speech recognition (ASR) systems demonstrate impressive performance on matched domains, their performance often degrades when confronted with channel mismatch stemming from unseen recording environments and conditions. To mitigate this issue, we propose a novel channel-aware data simulation method for robust ASR training. Our method harnesses the synergistic power of channel-extractive techniques and generative adversarial networks (GANs). We first train a channel encoder capable of extracting embeddings from arbitrary audio. On top of this, channel embeddings are extracted using a minimal amount of target-domain data and used to guide a GAN-based speech synthesizer. This synthesizer generates speech that faithfully preserves the phonetic content of the input while mimicking the channel characteristics of the target domain. We evaluate our method on the challenging Hakka Across Taiwan (HAT) and Taiwanese Across Taiwan (TAT) corpora, achieving relative character error rate (CER) reductions of 20.02% and 9.64%, respectively, compared to the baselines. These results highlight the efficacy of our channel-aware data simulation method for bridging the gap between source- and target-domain acoustics.
- Abstract（参考訳）: 事前訓練された自動音声認識(ASR)システムは、マッチした領域で顕著な性能を示すが、その性能は、目に見えない記録環境や条件から発生するチャネルミスマッチに直面すると劣化することが多い。
この問題を軽減するために,ロバストなASRトレーニングのためのチャネル認識型データシミュレーション手法を提案する。
本手法は,チャネル抽出技術とGANの相乗効果を利用する。
まず、任意のオーディオから埋め込みを抽出できるチャネルエンコーダを訓練する。
これに加えて、最小限のターゲットドメインデータを用いてチャネル埋め込みを抽出し、GANベースの音声合成器を誘導する。
本発明の合成器は、対象領域のチャネル特性を模倣しながら、入力の音声内容が忠実に保存される音声を生成する。
台湾におけるハッカ・アクロス・台湾 (HAT) と台湾・アクロス・台湾 (TAT) のコーパスを比較検討し, 基準値と比較して相対的文字誤り率 (CER) が20.02%, 9.64%であった。
これらの結果は,ソース領域とターゲット領域の音響的ギャップを埋めるためのチャネル認識型データシミュレーション手法の有効性を浮き彫りにした。
関連論文リスト
- Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation [25.410770364140856]
クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。
本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。
本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
論文 参考訳（メタデータ） (2024-09-03T02:29:01Z) - Multi-Microphone Speech Emotion Recognition using the Hierarchical Token-semantic Audio Transformer Architecture [11.063156506583562]
これらの課題に対処し、感情分類精度を向上させるために、マルチマイクロホン信号の処理を提案する。
我々は,マルチチャンネルオーディオ入力を処理するために,最先端のトランスフォーマーモデルであるHTS-ATを採用する。
我々のマルチマイクロフォンモデルは,実世界の残響環境での試験において,シングルチャネルベースラインに比べて優れた性能を実現する。
論文 参考訳（メタデータ） (2024-06-05T13:50:59Z) - Histogram Layer Time Delay Neural Networks for Passive Sonar
Classification [58.720142291102135]
時間遅延ニューラルネットワークとヒストグラム層を組み合わせた新しい手法により,特徴学習の改善と水中音響目標分類を実現する。
提案手法はベースラインモデルより優れており,受動的ソナー目標認識のための統計的文脈を取り入れた有効性を示す。
論文 参考訳（メタデータ） (2023-07-25T19:47:26Z) - Joint Channel Estimation and Feedback with Masked Token Transformers in
Massive MIMO Systems [74.52117784544758]
本稿では,CSI行列内の固有周波数領域相関を明らかにするエンコーダデコーダに基づくネットワークを提案する。
エンコーダ・デコーダネットワーク全体がチャネル圧縮に使用される。
提案手法は,共同作業における現状のチャネル推定およびフィードバック技術より優れる。
論文 参考訳（メタデータ） (2023-06-08T06:15:17Z) - Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。
提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
論文 参考訳（メタデータ） (2022-11-03T20:20:47Z) - Adaptive re-calibration of channel-wise features for Adversarial Audio
Classification [0.0]
合成音声検出のための注意特徴融合を用いた特徴量の再検討を提案する。
本研究では,End2EndモデルやResnetベースモデルなど,さまざまな検出手法との比較を行った。
また,線形周波数ケプストラム係数 (LFCC) とメル周波数ケプストラム係数 (MFCC) の組み合わせにより,より優れた入力特徴表現が得られることを示した。
論文 参考訳（メタデータ） (2022-10-21T04:21:56Z) - Blackbox Untargeted Adversarial Testing of Automatic Speech Recognition
Systems [1.599072005190786]
音声認識システムは、家電の音声ナビゲーションや音声制御への応用に広く利用されている。
ディープニューラルネットワーク(DNN)は、敵の摂動に感受性があることが示されている。
本稿では,ASRSの正しさをテストするため,ブラックボックスの自動生成手法を提案する。
論文 参考訳（メタデータ） (2021-12-03T10:21:47Z) - Time-domain Speech Enhancement with Generative Adversarial Learning [53.74228907273269]
本稿では,TSEGAN(Time-domain Speech Enhancement Generative Adversarial Network)という新しいフレームワークを提案する。
TSEGANは、スケーリング問題を軽減するためのメトリクス評価を備えた時間領域におけるジェネレーション・アドバーサリ・ネットワーク(GAN)の拡張である。
さらに,計量ganの性能を理論的に解析するために,客観的関数マッピングに基づく新しい手法を提案する。
論文 参考訳（メタデータ） (2021-03-30T08:09:49Z) - Audio-visual Multi-channel Recognition of Overlapped Speech [79.21950701506732]
本稿では,音声とマルチチャンネルの重なり合う音声認識システムについて述べる。
実験により,提案したマルチチャネルAVSRシステムは,音声のみのASRシステムを最大6.81% (26.83%) ,22.22% (56.87%) の絶対単語誤り率 (WER) で比較した。
論文 参考訳（メタデータ） (2020-05-18T10:31:19Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳（メタデータ） (2020-02-14T06:58:27Z) - Robust Multi-channel Speech Recognition using Frequency Aligned Network [23.397670239950187]
我々は、堅牢な自動音声認識に周波数整列ネットワークを用いる。
周波数整列ネットワークを用いたマルチチャネル音響モデルでは,単語誤り率を最大で18%低減することを示す。
論文 参考訳（メタデータ） (2020-02-06T21:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。