論文の概要: Automatic Restoration of Diacritics for Speech Data Sets

• arxiv url: http://arxiv.org/abs/2311.10771v2
• Date: Sun, 7 Apr 2024 00:48:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 02:15:45.587615
• Title: Automatic Restoration of Diacritics for Speech Data Sets
• Title（参考訳）: 音声データセットのためのダイアクリティカルティクスの自動復元
• Authors: Sara Shatnawi, Sawsan Alqahtani, Hanan Aldarmaki,
• Abstract要約: パラレル音声を用いた音声データに適用することで,自動発音復元の性能向上の可能性を検討する。 我々は、比較的少量のアラビア語音声データに基づいて、事前学習したWhisper ASRモデルを用いて、音声発話に粗い発音書き起こしを生成する。 提案するフレームワークは,テキストのみのベースラインに比べて,ダイアクリティカルな復元性能を一貫して向上させる。
• 参考スコア（独自算出の注目度）: 1.81336359426598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic text-based diacritic restoration models generally have high diacritic error rates when applied to speech transcripts as a result of domain and style shifts in spoken language. In this work, we explore the possibility of improving the performance of automatic diacritic restoration when applied to speech data by utilizing parallel spoken utterances. In particular, we use the pre-trained Whisper ASR model fine-tuned on relatively small amounts of diacritized Arabic speech data to produce rough diacritized transcripts for the speech utterances, which we then use as an additional input for diacritic restoration models. The proposed framework consistently improves diacritic restoration performance compared to text-only baselines. Our results highlight the inadequacy of current text-based diacritic restoration models for speech data sets and provide a new baseline for speech-based diacritic restoration.
• Abstract（参考訳）: 自動テキストベースダイアクリティカル復元モデルは、音声言語におけるドメインシフトとスタイルシフトの結果、音声書き起こしに適用した場合、一般的に高いダイアクリティカルエラー率を有する。 本研究では, パラレル音声を用いた音声データに適用することで, 自動発音復元の性能向上の可能性を検討する。 特に、比較的少量のアラビア語音声データに基づいて微調整された事前学習されたWhisper ASRモデルを用いて、音声発話の荒々しい発音文を生成する。 提案するフレームワークは,テキストのみのベースラインに比べて,ダイアクリティカルな復元性能を一貫して向上させる。 本研究は, 音声データセットに対するテキストベースダイアクリティック復元モデルの不適切さを強調し, 音声ベースダイアクリティック復元のための新しいベースラインを提供する。

関連論文リスト

• Spontaneous Informal Speech Dataset for Punctuation Restoration [0.8517406772939293]
  SponSpeechは、非公式な音声ソースから派生した句読点復元データセットである。 フィルタリングパイプラインは,音声と文字起こしの双方の品質について検討する。 我々はまた、他の文法的に曖昧な句読点を予測するために、音声情報を活用するモデルの能力を評価することを目的とした、挑戦的なテストセットを慎重に構築する。
  論文  参考訳（メタデータ） (2024-09-17T14:43:14Z)
• LibriSpeech-PC: Benchmark for Evaluation of Punctuation and Capitalization Capabilities of end-to-end ASR Models [58.790604613878216]
  我々は,エンドツーエンドのASRモデルの句読点と大文字化予測能力を評価するために,LibriSpeech-PCベンチマークを導入する。 このベンチマークには、リストアされた句読点とキャピタライゼーションを備えたLibriSpeech-PCデータセット、句読点に焦点を当てたPunctuation Error Rate (PER)と呼ばれる新しい評価指標、および初期ベースラインモデルが含まれている。
  論文  参考訳（メタデータ） (2023-10-04T16:23:37Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• Boosting Punctuation Restoration with Data Generation and Reinforcement Learning [70.26450819702728]
  触覚回復は自動音声認識(ASR)における重要な課題である テキストの句読点とASRテキストとの相違は、ASRテキストの句読点復元システムのトレーニングにおいて、テキストのユーザビリティを制限している。 本稿では,このギャップを埋めるために,話題内テキストを活用した強化学習手法と大規模事前学習型生成言語モデルの最近の進歩を提案する。
  論文  参考訳（メタデータ） (2023-07-24T17:22:04Z)
• High-Quality Automatic Voice Over with Accurate Alignment: Supervision through Self-Supervised Discrete Speech Units [69.06657692891447]
  本稿では,自己教師付き離散音声単位予測の学習目的を活用した新しいAVO手法を提案する。 実験結果から,提案手法は有意な唇音声同期と高音質を実現することが示された。
  論文  参考訳（メタデータ） (2023-06-29T15:02:22Z)
• Weakly-supervised forced alignment of disfluent speech using phoneme-level modeling [10.283092375534311]
  重み付き有限状態変換器を用いたアライメントグラフの構成法を提案する。 提案手法は, 強制アライメントのための音声不一致の動詞的書き起こしの必要性を軽減する。 TIMITテストセットとUCLASSデータセットの劣化バージョンについて評価したところ,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2023-05-30T09:57:36Z)
• Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations [51.89856133895233]
  音声復元(SR)は、劣化した音声信号を高品質なものに変換するタスクである。 本研究では、Miipherと呼ばれるロバストなSRモデルを提案し、新しいSRアプリケーションにMiipherを適用する。 SRモデルを様々な劣化に対して堅牢にするために、入力特徴としてw2v-BERTから抽出した音声表現と、PnG-BERTを介して書き起こしから抽出したテキスト表現を言語条件付けとして使用する。
  論文  参考訳（メタデータ） (2023-03-03T01:57:16Z)
• Diacritic Recognition Performance in Arabic ASR [2.28438857884398]
  本稿では,アラビア語自動音声認識システムにおけるダイアクリティカルな音声認識性能について分析する。 現在の最先端のASRモデルは、その出力に完全なダイアライゼーションを生じさせない。
  論文  参考訳（メタデータ） (2023-02-27T18:27:42Z)
• Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders [14.723225542605105]
  テキストベースの音声編集(TBVE)は、テキスト音声合成システム(TTS)からの合成出力を使用して、オリジナル録音中の単語を置き換える。 近年の研究では、ニューラルモデルを用いて、明瞭さ、話者識別、韻律の観点から、オリジナルの音声に似た編集された音声を生成する。 この研究は、微調整を完全に回避するゼロショットアプローチに焦点を当てている。
  論文  参考訳（メタデータ） (2022-10-28T10:31:44Z)
• Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers [49.403414751667135]
  本稿では,音声認識のための新しいラベル同期音声テキストアライメント手法を提案する。 提案手法はラベル同期テキストマッピング問題として音声からテキストへのアライメントを再定義する。 自発日本語コーパス(CSJ)を用いた実験により,提案手法が正確な発話方向のアライメントを提供することを示した。
  論文  参考訳（メタデータ） (2021-04-21T03:05:12Z)
• A Multitask Learning Approach for Diacritic Restoration [21.288912928687186]
  アラビア語のような多くの言語では、発音と意味を区別するためにダイアクリティカルが用いられる。 このようなダイアクリティカル語はテキストで省略されることが多く、単語の発音や意味の数が増加する。 我々は、共同モデリングにおいて考慮すべきタスクに十分なデータ資源があるため、ケーススタディとしてアラビア語を使用します。
  論文  参考訳（メタデータ） (2020-06-07T01:20:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。