論文の概要: PI-Whisper: Designing an Adaptive and Incremental Automatic Speech Recognition System for Edge Devices

• arxiv url: http://arxiv.org/abs/2406.15668v2
• Date: Mon, 23 Dec 2024 06:22:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:51:31.256658
• Title: PI-Whisper: Designing an Adaptive and Incremental Automatic Speech Recognition System for Edge Devices
• Title（参考訳）: PI-Whisper:エッジデバイス用適応・インクリメンタル自動音声認識システムの設計
• Authors: Amir Nassereldine, Dancheng Liu, Chenhui Xu, Ruiyang Qin, Yiyu Shi, Jinjun Xiong,
• Abstract要約: 本稿では,話者の特徴をリアルタイムに識別し,認識能力を適応的に向上する新しいASRシステムであるPI-Whisperを提案する。 PI-Whisperは最先端の精度を実現し、ワードエラー率(WER)を基準値に対して最大13.7%削減し、計算資源に対して線形にスケーリングする。
• 参考スコア（独自算出の注目度）: 20.02713632761184
• License:
• Abstract: Edge-based automatic speech recognition (ASR) technologies are increasingly prevalent in the development of intelligent and personalized assistants. However, resource-constrained ASR models face significant challenges in adaptivity, incrementality, and inclusivity when faced with a diverse population. To tackle those challenges, we propose PI-Whisper, a novel ASR system that adaptively enhances recognition capabilities by identifying speakers' characteristics in real-time. In this work, we show how the design of PI-Whisper allows for incremental adaptation of new characteristics without the need for repetitive retraining, enhances recognition capabilities, and improves equity and fairness across diverse speaker groups. PI-Whisper demonstrates these advantages by achieving state-of-the-art accuracy, reducing the word error rate (WER) by up to 13.7% relative to baselines while scaling linearly to computing resources.
• Abstract（参考訳）: エッジベースの自動音声認識(ASR)技術は、インテリジェントでパーソナライズされたアシスタントの開発において、ますます普及している。 しかし、資源制約されたASRモデルは、多様な人口に直面した場合、適応性、漸進性、傾斜性において重大な課題に直面している。 これらの課題に対処するために,話者の特徴をリアルタイムに識別し,認識能力を適応的に向上する新しいASRシステムPI-Whisperを提案する。 本稿では,PI-Whisperの設計が,反復的再訓練を必要とせず,新たな特徴の漸進的適応を可能にし,認識能力を向上し,多様な話者グループ間の公平性と公平性を向上させる方法を示す。 PI-Whisperは、最先端の精度を達成することでこれらの利点を示し、ワードエラー率(WER)を基準値に対して最大13.7%削減し、計算資源に対して線形にスケーリングする。

関連論文リスト

• Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation [71.31331402404662]
  本稿では, 変形性関節症と高齢者の話者レベルの特徴を学習するための2つの新しいデータ効率手法を提案する。 話者規則化スペクトルベース埋め込み-SBE特徴は、特別な正規化項を利用して適応における話者特徴の均一性を強制する。 テスト時間適応において、話者レベルのデータ量に敏感であることが示されるVR-LH機能に規定されている特徴ベースの学習隠れユニットコントリビューション(f-LHUC)。
  論文  参考訳（メタデータ） (2024-07-08T18:20:24Z)
• MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
  異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。 提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
  論文  参考訳（メタデータ） (2024-01-07T08:59:32Z)
• Extending Whisper with prompt tuning to target-speaker ASR [18.31992429200396]
  ターゲット話者自動音声認識(Target-Speaker Automatic Speech Recognition, ASR)は、ターゲット話者の所望の音声を重なり合う発話から書き起こすことを目的としている。 既存のターゲットスピーカーASR(TS-ASR)の手法のほとんどは、スクラッチからトレーニングするか、事前訓練されたモデルを完全に微調整するものである。 この研究は、パラメータ効率のよい微調整手法であるプロンプトチューニングを利用して、大規模なシングルストーカーASRモデルであるWhisperをTS-ASRに拡張する。
  論文  参考訳（メタデータ） (2023-12-13T11:49:16Z)
• ROSE: A Recognition-Oriented Speech Enhancement Framework in Air Traffic Control Using Multi-Objective Learning [6.60571587618006]
  無線音声エコー(Radio speech echo)は、空気交通制御(ATC)領域において特定の現象であり、音声品質を低下させ、自動音声認識(ASR)の精度に影響を与える。 本研究では,時間領域認識指向音声強調フレームワークを提案し,音声認識能力の向上とASR精度の向上を図る。 このフレームワークはATCシナリオのプラグイン・アンド・プレイツールとして機能し、ASRモデルのさらなる再トレーニングを必要としない。
  論文  参考訳（メタデータ） (2023-12-11T04:51:41Z)
• AV-RIR: Audio-Visual Room Impulse Response Estimation [49.469389715876915]
  室内インパルス応答(RIR)の正確な推定は,音声処理やAR/VR応用において重要である。 本稿では,与えられた残響音声信号と対応する環境の視覚的手がかりからRIRを正確に推定する,新しいマルチモーダルマルチタスク学習手法であるAV-RIRを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:58:30Z)
• Exploring the Integration of Speech Separation and Recognition with Self-Supervised Learning Representation [83.36685075570232]
  本研究は,ASRフロントエンドとしての残響・雑音・残響シナリオにおける音声分離に関する洞察に富んだ研究である。 我々は,マルチチャネル分離法,マスクベースのビームフォーミング,複雑なスペクトルマッピング,およびASRバックエンドモデルで使用する最良の特徴について検討する。 TF-GridNetベースの複素スペクトルマッピングとWavLMベースのSSLRを併用することで、残響WHAMRテストセットにおいて2.5%のワードエラー率が得られる。
  論文  参考訳（メタデータ） (2023-07-23T05:39:39Z)
• On the Efficacy and Noise-Robustness of Jointly Learned Speech Emotion and Automatic Speech Recognition [6.006652562747009]
  低リソース環境下でのASR-SER共同学習手法について検討する。 共同学習は、ASRワードエラー率(WER)とSER分類の精度をそれぞれ10.7%と2.3%改善することができる。 全体として、共同ASR-SERアプローチは独立したASRとSERアプローチよりも耐雑音性のあるモデルとなった。
  論文  参考訳（メタデータ） (2023-05-21T18:52:21Z)
• Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding [28.441725610692714]
  本稿では,ASRの誤りに対して頑健な発話表現を,対照的な目的を用いて学習することに焦点を当てる。 3つのベンチマークデータセットの実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-05-02T07:21:21Z)
• ASR-Aware End-to-end Neural Diarization [15.172086811068962]
  本稿では、音響入力と自動音声認識(ASR)モデルから得られる特徴の両方を用いて、コンフォーマーに基づくエンドツーエンドニューラルダイアリゼーション(EEND)モデルを提案する。 この機能を組み込むために、ConformerベースのEENDアーキテクチャの3つの変更が提案されている。 Switchboard+SREデータセットの2つの話者による英語会話実験により、単語位置情報を用いたマルチタスク学習がASR特徴を利用する最も効果的な方法であることが示された。
  論文  参考訳（メタデータ） (2022-02-02T21:17:14Z)
• Advanced Long-context End-to-end Speech Recognition Using Context-expanded Transformers [56.56220390953412]
  コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。 拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
  論文  参考訳（メタデータ） (2021-04-19T16:18:00Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。