論文の概要: Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
- arxiv url: http://arxiv.org/abs/2111.11023v1
- Date: Mon, 22 Nov 2021 07:19:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-24 00:57:54.349947
- Title: Multi-Channel Multi-Speaker ASR Using 3D Spatial Feature
- Title（参考訳）: 3次元空間特徴を用いたマルチチャネルマルチスピーカASR
- Authors: Yiwen Shao, Shi-Xiong Zhang, Dong Yu
- Abstract要約: 本稿では,3次元空間におけるターゲット話者の位置情報を初めて活用することによって,課題を考察する。
2つのパラダイムについて検討した。1) 多チャンネル音声分離モジュールを備えたパイプラインシステムと,1)最先端の単一チャネルASRモジュール,2)3次元空間特徴を直接ASRシステムへの入力として使用する「オール・イン・ワン」モデルである。
実験結果から,1)提案したALL-In-Oneモデルは,推定時間を半分に減らしながら,パイプラインシステムに匹敵する誤差率を達成した。
- 参考スコア（独自算出の注目度）: 35.280174671205046
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic speech recognition (ASR) of multi-channel multi-speaker overlapped
speech remains one of the most challenging tasks to the speech community. In
this paper, we look into this challenge by utilizing the location information
of target speakers in the 3D space for the first time. To explore the strength
of proposed the 3D spatial feature, two paradigms are investigated. 1) a
pipelined system with a multi-channel speech separation module followed by the
state-of-the-art single-channel ASR module; 2) a "All-In-One" model where the
3D spatial feature is directly used as an input to ASR system without explicit
separation modules. Both of them are fully differentiable and can be
back-propagated end-to-end. We test them on simulated overlapped speech and
real recordings. Experimental results show that 1) the proposed ALL-In-One
model achieved a comparable error rate to the pipelined system while reducing
the inference time by half; 2) the proposed 3D spatial feature significantly
outperformed (31\% CERR) all previous works of using the 1D directional
information in both paradigms.
- Abstract（参考訳）: マルチチャンネルマルチスピーカ重畳音声の自動音声認識(ASR)は,音声コミュニティにとって最も困難な課題の1つである。
本稿では,3次元空間におけるターゲット話者の位置情報を初めて活用することによって,この課題を考察する。
提案する3次元空間特徴の強みを探るために,2つのパラダイムについて検討した。
1) マルチチャネル音声分離モジュールと最先端のシングルチャネルasrモジュールを備えたパイプラインシステム
2) 3次元空間特徴を明示的な分離加群を使わずにasrシステムへの入力として直接使用する「オール・イン・ワン」モデル。
どちらも完全に差別化可能であり、バックエンドのエンドツーエンドにすることができる。
重なり合う音声と実際の録音を模擬した実験を行った。
実験の結果
1) 提案するオールインワンモデルは, 推定時間を半減しながら, パイプラインシステムと同等の誤差率を達成した。
2) 提案した3次元空間的特徴は, 両パラダイムにおける1次元方向情報を用いた以前のすべての作業において, 顕著に優れていた(31 % CERR)。
関連論文リスト
- OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation [67.56268991234371]
OV-Uni3DETRは、様々なシナリオにおける最先端のパフォーマンスを達成し、既存のメソッドを平均6%以上上回っている。
コードと事前訓練されたモデルは、後にリリースされる。
論文 参考訳（メタデータ） (2024-03-28T17:05:04Z) - Large Generative Model Assisted 3D Semantic Communication [51.17527319441436]
本稿では,GAM-3DSC(Generative AI Model Assisted 3D SC)システムを提案する。
まず,ユーザ要求に基づいて3次元シナリオからキーセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティクスを抽出する。
次に、これらの多視点画像を符号化するための適応意味圧縮モデル(ASCM)を提案する。
最後に、物理チャネルのチャネル状態情報(CSI)を推定・精査するために、条件付き生成逆数ネットワークと拡散モデル支援チャネル推定(GDCE)を設計する。
論文 参考訳（メタデータ） (2024-03-09T03:33:07Z) - RIR-SF: Room Impulse Response Based Spatial Feature for Target Speech Recognition in Multi-Channel Multi-Speaker Scenarios [36.50731790624643]
室内インパルス応答(RIR)に基づく空間的特徴を持つRIR-SFについて紹介する。
RIR-SFは従来の3次元空間特性よりも優れており、理論的および経験的性能が優れている。
また、RIR-SFのための最適化されたオールニューラルマルチチャネルASRフレームワークを提案し、マルチチャネル設定におけるターゲット話者ASRに対するCERの相対的な21.3%削減を実現した。
論文 参考訳（メタデータ） (2023-10-31T20:42:08Z) - Dense 2D-3D Indoor Prediction with Sound via Aligned Cross-Modal
Distillation [44.940531391847]
クロスモーダルな知識蒸留による2次元・3次元音による屋内密集予測の課題に対処する。
我々は2次元と3次元の両方における全方位環境の密集した屋内予測に、オーディオ観測で最初に取り組みました。
音声に基づく深度推定,セマンティックセグメンテーション,難解な3次元シーン再構築のために,提案した蒸留フレームワークは一貫して最先端の性能を達成している。
論文 参考訳（メタデータ） (2023-09-20T06:07:04Z) - DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。
我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。
本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
論文 参考訳（メタデータ） (2022-04-06T18:43:54Z) - End-to-End Multi-speaker ASR with Independent Vector Analysis [80.83577165608607]
マルチチャンネル・マルチスピーカ自動音声認識のためのエンドツーエンドシステムを開発した。
本稿では, 独立ベクトル解析(IVA)のパラダイムを基礎として, ソース分離と収差分離のパラダイムを提案する。
論文 参考訳（メタデータ） (2022-04-01T05:45:33Z) - Directional ASR: A New Paradigm for E2E Multi-Speaker Speech Recognition
with Source Localization [73.62550438861942]
本稿では、指向性自動音声認識(D-ASR)と呼ばれる、エンドツーエンドのニューラルネットワーク方式で遠距離場マルチスピーカデータを処理するための新しいパラダイムを提案する。
D-ASRでは、マイクロホンアレイに対するソースの方位角を潜時変数として定義する。
論文 参考訳（メタデータ） (2020-10-30T20:26:28Z) - Discriminative Multi-modality Speech Recognition [17.296404414250553]
視覚は、しばしば音声音声認識(ASR)の相補的モダリティとして使用される。
本稿では,2段階音声認識モデルを提案する。
第1段階では、対象の音声を、対応する唇の動きの視覚情報から助けを借りて背景雑音から分離し、モデル「リスト」を明確にする。
第2段階では、音声モダリティは視覚的モダリティを再び組み合わせて、MSRサブネットワークによる音声の理解を深め、認識率をさらに向上させる。
論文 参考訳（メタデータ） (2020-05-12T07:56:03Z) - Temporal-Spatial Neural Filter: Direction Informed End-to-End
Multi-channel Target Speech Separation [66.46123655365113]
ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。
主な課題は、複雑な音響環境とリアルタイム処理の要件である。
複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
論文 参考訳（メタデータ） (2020-01-02T11:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。