論文の概要: Whispy: Adapting STT Whisper Models to Real-Time Environments

• arxiv url: http://arxiv.org/abs/2405.03484v1
• Date: Mon, 6 May 2024 13:55:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 13:36:52.042032
• Title: Whispy: Adapting STT Whisper Models to Real-Time Environments
• Title（参考訳）: Whispy: STTウィスパーモデルをリアルタイム環境に適用する
• Authors: Antonio Bevilacqua, Paolo Saviano, Alessandro Amirante, Simon Pietro Romano,
• Abstract要約: Whispyは、Whisper事前訓練モデルにライブ機能を提供するシステムである。 Whispyはライブオーディオストリームを消費し、ハイレベルで一貫性のある音声書き起こしを生成する。 本研究では,公開音声データセットの大規模リポジトリ上での性能評価を行う。
• 参考スコア（独自算出の注目度）: 43.000853406349165
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large general-purpose transformer models have recently become the mainstay in the realm of speech analysis. In particular, Whisper achieves state-of-the-art results in relevant tasks such as speech recognition, translation, language identification, and voice activity detection. However, Whisper models are not designed to be used in real-time conditions, and this limitation makes them unsuitable for a vast plethora of practical applications. In this paper, we introduce Whispy, a system intended to bring live capabilities to the Whisper pretrained models. As a result of a number of architectural optimisations, Whispy is able to consume live audio streams and generate high level, coherent voice transcriptions, while still maintaining a low computational cost. We evaluate the performance of our system on a large repository of publicly available speech datasets, investigating how the transcription mechanism introduced by Whispy impacts on the Whisper output. Experimental results show how Whispy excels in robustness, promptness, and accuracy.
• Abstract（参考訳）: 近年,大規模汎用変圧器モデルが音声解析の分野で主流となっている。 特にWhisperは、音声認識、翻訳、言語識別、音声活動の検出など、関連するタスクにおいて最先端の結果を達成する。 しかし、Whisperモデルはリアルタイムな条件で使用するために設計されておらず、この制限により多くの実用的な応用には適さない。 本稿では,Whisper事前学習モデルにライブ機能を提供するシステムであるWhispyを紹介する。 多くのアーキテクチャ最適化の結果、Whispyはライブオーディオストリームを消費し、高いレベルのコヒーレントな音声書き起こしを生成することができ、計算コストは低い。 本稿では,Whispyが導入した転写機構がWhisper出力に与える影響について検討した。 実験結果は、Whispyが堅牢性、迅速性、正確性に優れていることを示す。

関連論文リスト

• Whisper Finetuning on Nepali Language [0.0]
  本研究は,ネパール語の転写精度を向上させるために,OpenAIのWhisperモデルを微調整し,包括的で一般化したデータセットを作成することに焦点を当てる。 ASRデータセットと自己記録されたカスタムデータセットを多種多様なアクセント、方言、話し方で活用し、拡張によってさらに充実させます。 我々のアプローチは、FleurのデータセットでトレーニングされたWhisperのベースラインモデルよりも優れており、中規模モデルでは36.2%、中型モデルでは23.8%のWER削減を実現している。
  論文  参考訳（メタデータ） (2024-11-19T15:55:56Z)
• Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
  大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。 これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2024-10-21T15:55:27Z)
• FINALLY: fast and universal speech enhancement with studio-like quality [7.207284147264852]
  本稿では,様々な歪みを含む実世界の録音における音声強調の課題に対処する。 本研究では, 対人訓練の安定性を高めるために, 知覚喪失のための様々な特徴抽出器について検討した。 我々は、WavLMに基づく知覚損失をMS-STFT逆行訓練パイプラインに統合し、音声強調モデルの効果的で安定した訓練手順を作成する。
  論文  参考訳（メタデータ） (2024-10-08T11:16:03Z)
• Incorporating Talker Identity Aids With Improving Speech Recognition in Adversarial Environments [0.2916558661202724]
  音声認識と話者識別を共同で行うトランスフォーマーモデルを開発した。 クリーンな条件下では,ジョイントモデルがWhisperと相容れない性能を示す。 以上の結果から,音声認識と音声表現の統合により,対向条件下ではより堅牢なモデルが得られる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-07T18:39:59Z)
• TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation [19.126525226518975]
  パラメータと計算コストを大幅に削減した音声分離モデルを提案する。 TIGERは事前の知識を活用して周波数帯域を分割し、周波数情報を圧縮する。 我々は、TIGERが、最先端(SOTA)モデルTF-GridNetを上回る性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-10-02T12:21:06Z)
• SpeechPrompt: Prompting Speech Language Models for Speech Processing Tasks [94.10497337235083]
  我々はまず,音声処理分野における音声 LM の促進の可能性を探る。 音声処理タスクを音声単位生成タスクに再構成する。 提案手法は, 強い微調整法と比較して, 競争性能を向上できることを示す。
  論文  参考訳（メタデータ） (2024-08-23T13:00:10Z)
• A Closer Look at Wav2Vec2 Embeddings for On-Device Single-Channel Speech Enhancement [16.900731393703648]
  自己教師付き学習モデルは、特定の音声タスクに非常に効果的であることが判明した。 本稿では,単一チャンネル音声強調におけるSSL表現の利用について検討する。
  論文  参考訳（メタデータ） (2024-03-03T02:05:17Z)
• Pheme: Efficient and Conversational Speech Generation [52.34331755341856]
  我々は,コンパクトだが高性能な会話型TSモデルを提供するPhemeモデルシリーズを紹介する。 小規模の会話データで効率的にトレーニングでき、データ要求を10倍に削減できるが、自動回帰的TSモデルの品質にマッチする。
  論文  参考訳（メタデータ） (2024-01-05T14:47:20Z)
• Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study [68.88536866933038]
  音声信号は、通常、毎秒数万のレートでサンプリングされ、冗長性を含んでいる。 近年の研究では、自己教師型学習表現から派生した離散音声単位の使用が提案されている。 復号化やサブワードモデリングなどの様々な手法を適用することで、さらに音声列の長さを圧縮することができる。
  論文  参考訳（メタデータ） (2023-09-27T17:21:13Z)
• Speech Enhancement for Wake-Up-Word detection in Voice Assistants [60.103753056973815]
  キースポッティング、特にWake-Up-Word(WUW)検出は音声アシスタントにとって非常に重要なタスクである。 本稿では,WUW検出に適応した音声強調モデルを提案する。 これらのノイズの存在下で、認識率を高め、誤報を減らすことを目的としている。
  論文  参考訳（メタデータ） (2021-01-29T18:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。