論文の概要: Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments

• arxiv url: http://arxiv.org/abs/2207.07296v1
• Date: Fri, 15 Jul 2022 05:14:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-18 14:58:08.473207
• Title: Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments
• Title（参考訳）: 実雑音環境における拡張現実ヘッドセットを用いた指向性適応型オンラインニューラル音声強調
• Authors: Kouhei Sekiguchi, Aditya Arie Nugraha, Yicheng Du, Yoshiaki Bando, Mathieu Fontaine, Kazuyoshi Yoshii
• Abstract要約: 本稿では,拡張現実(AR)ヘッドセットにおけるオンライン音声強調の実用的応答・性能認識開発について述べる。 これは、実際の騒々しいエコー環境(例えばカクテルパーティー)における会話を理解するのに役立つ。 この方法は、話者のうるさい残響音声を転写するための重み付き予測誤差(WPE)と呼ばれるブラインド残響法で用いられる。
• 参考スコア（独自算出の注目度）: 21.493664174262737
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper describes the practical response- and performance-aware development of online speech enhancement for an augmented reality (AR) headset that helps a user understand conversations made in real noisy echoic environments (e.g., cocktail party). One may use a state-of-the-art blind source separation method called fast multichannel nonnegative matrix factorization (FastMNMF) that works well in various environments thanks to its unsupervised nature. Its heavy computational cost, however, prevents its application to real-time processing. In contrast, a supervised beamforming method that uses a deep neural network (DNN) for estimating spatial information of speech and noise readily fits real-time processing, but suffers from drastic performance degradation in mismatched conditions. Given such complementary characteristics, we propose a dual-process robust online speech enhancement method based on DNN-based beamforming with FastMNMF-guided adaptation. FastMNMF (back end) is performed in a mini-batch style and the noisy and enhanced speech pairs are used together with the original parallel training data for updating the direction-aware DNN (front end) with backpropagation at a computationally-allowable interval. This method is used with a blind dereverberation method called weighted prediction error (WPE) for transcribing the noisy reverberant speech of a speaker, which can be detected from video or selected by a user's hand gesture or eye gaze, in a streaming manner and spatially showing the transcriptions with an AR technique. Our experiment showed that the word error rate was improved by more than 10 points with the run-time adaptation using only twelve minutes of observation.
• Abstract（参考訳）: 本稿では,現実の騒々しいエコー環境(例えばカクテルパーティー)における会話の理解を支援する拡張現実(AR)ヘッドセットにおける,オンライン音声強調の実用的応答・性能認識開発について述べる。 高速マルチチャネル非負行列分解 (FastMNMF) と呼ばれる最先端のブラインドソース分離法は、教師なしの性質のおかげで様々な環境でうまく機能する。 しかし、その計算コストは、リアルタイム処理への応用を妨げている。 対照的に、音声と雑音の空間情報を推定するためにディープニューラルネットワーク(DNN)を用いる教師ありビームフォーミング法は、リアルタイム処理に容易に適合するが、ミスマッチした条件下での劇的な性能劣化に悩まされる。 そこで,このような相補的特徴から,高速mnmf適応によるdnnベースビームフォーミングに基づく2プロセスロバストオンライン音声強調手法を提案する。 fastmnmf(back end)をミニバッチ方式で実行し、元の並列訓練データと共に雑音および拡張された音声ペアを用いて、計算可能間隔でバックプロパゲーションにより方向認識dnn(front end)を更新する。 本発明の方法は、話者のうるさい残響音声を、ビデオから検出したり、ユーザの手の動きや目視で選択されたものをストリーミングで検出し、AR技術で空間的に転写する、重み付き予測誤差(WPE)と呼ばれるブラインド除去法で用いられる。 実験の結果, 単語の誤り率を10点以上改善し, 実行時適応をわずか12分で行うことができた。

関連論文リスト

• Run-Time Adaptation of Neural Beamforming for Robust Speech Dereverberation and Denoising [15.152748065111194]
  本稿では,実環境におけるリアルタイム自動音声認識のための音声強調について述べる。 ノイズの多いエコー混合分光器とディープニューラルネットワーク(DNN)からクリーンドライ音声のマスクを推定し、ビームフォーミングに用いる拡張フィルタを算出する。 しかし、このような教師付きアプローチのパフォーマンスは、ミスマッチした条件下で大幅に劣化する。
  論文  参考訳（メタデータ） (2024-10-30T08:32:47Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Unsupervised Noise adaptation using Data Simulation [21.866522173387715]
  本稿では,逆クリーン・ノイズ変換を効率よく学習するための生成逆ネットワークに基づく手法を提案する。 実験結果から,本手法はトレーニングセットとテストセット間のドメインミスマッチを効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2023-02-23T12:57:20Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• Direction-Aware Joint Adaptation of Neural Speech Enhancement and Recognition in Real Multiparty Conversational Environments [21.493664174262737]
  本稿では,現実の多人数会話環境における音声コミュニケーションを支援する拡張現実ヘッドセットの雑音音声認識について述べる。 本研究では,高信頼な推定文字を用いたクリーン音声信号とノイズ音声信号を用いて,マスク推定器とASRモデルを実行時に共同で更新する半教師付き適応手法を提案する。
  論文  参考訳（メタデータ） (2022-07-15T03:43:35Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)
• On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
  オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。 復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。 提案手法では,平均で50ms以下の単語のタイミング差が得られる。
  論文  参考訳（メタデータ） (2021-04-27T23:31:43Z)
• Multi-Tones' Phase Coding (MTPC) of Interaural Time Difference by Spiking Neural Network [68.43026108936029]
  雑音の多い実環境下での正確な音像定位のための純粋スパイクニューラルネットワーク(SNN)に基づく計算モデルを提案する。 このアルゴリズムを,マイクロホンアレイを用いたリアルタイムロボットシステムに実装する。 実験の結果, 平均誤差方位は13度であり, 音源定位に対する他の生物学的に妥当なニューロモルフィックアプローチの精度を上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-07T08:22:56Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。