論文の概要: ArTST: Arabic Text and Speech Transformer

• arxiv url: http://arxiv.org/abs/2310.16621v1
• Date: Wed, 25 Oct 2023 13:20:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:31:41.234393
• Title: ArTST: Arabic Text and Speech Transformer
• Title（参考訳）: ArTST:アラビア文字と音声変換器
• Authors: Hawau Olamide Toyin, Amirbek Djanibekov, Ajinkya Kulkarni, Hanan Aldarmaki
• Abstract要約: 本稿では、事前訓練されたアラビア語テキストと音声変換器ArTSTを提案する。 アラビア語のためのオープンソースの音声技術をサポートしている。
• 参考スコア（独自算出の注目度）: 2.53638770809417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present ArTST, a pre-trained Arabic text and speech transformer for supporting open-source speech technologies for the Arabic language. The model architecture follows the unified-modal framework, SpeechT5, that was recently released for English, and is focused on Modern Standard Arabic (MSA), with plans to extend the model for dialectal and code-switched Arabic in future editions. We pre-trained the model from scratch on MSA speech and text data, and fine-tuned it for the following tasks: Automatic Speech Recognition (ASR), Text-To-Speech synthesis (TTS), and spoken dialect identification. In our experiments comparing ArTST with SpeechT5, as well as with previously reported results in these tasks, ArTST performs on a par with or exceeding the current state-of-the-art in all three tasks. Moreover, we find that our pre-training is conducive for generalization, which is particularly evident in the low-resource TTS task. The pre-trained model as well as the fine-tuned ASR and TTS models are released for research use.
• Abstract（参考訳）: アラビア語のオープンソースの音声技術をサポートするための,事前学習されたアラビア語テキストと音声トランスフォーマであるartstを提案する。 モデルアーキテクチャは、最近英語向けにリリースされたunified-modal framework、speecht5に従い、現代標準アラビア語(msa)にフォーカスしており、将来の版では方言とコード切り換えアラビア語のモデルを拡張する予定だ。 MSA音声とテキストデータをスクラッチから事前学習し、自動音声認識(ASR)、テキスト音声合成(TTS)、音声方言識別といったタスクに対して微調整を行った。 artt と speecht5 を比較した実験では,前回報告したタスクの結果と同様,artt は現在の3つのタスクの最先端と同等かそれ以上のパフォーマンスを示す。 さらに,我々の事前学習は一般化に寄与しており,低リソースttsタスクでは特に顕著である。 事前訓練されたモデルと微調整されたASRおよびTSモデルが研究用にリリースされている。

関連論文リスト

• CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving [61.73180469072787]
  インド語から英語のテキストへのコード変更音声の音声翻訳(ST)の問題に焦点をあてる。 本稿では、事前訓練された自動音声認識(ASR)と機械翻訳(MT)モジュールを足場として、新しいエンドツーエンドモデルアーキテクチャCOSTAを提案する。 COSTAは、多くの競合するカスケードおよびエンドツーエンドのマルチモーダルベースラインを3.5BLEUポイントまで上回っている。
  論文  参考訳（メタデータ） (2024-06-16T16:10:51Z)
• Code-Switching Text Generation and Injection in Mandarin-English ASR [57.57570417273262]
  業界で広く使われているストリーミングモデルTransformer-Transducer(T-T)の性能向上のためのテキスト生成とインジェクションについて検討する。 まず、コードスイッチングテキストデータを生成し、テキスト-to-Speech(TTS)変換または暗黙的に音声とテキストの潜在空間を結び付けることによって、T-Tモデルに生成されたテキストを明示的に注入する戦略を提案する。 実際のマンダリン・イングリッシュ音声の1,800時間を含むデータセットを用いて訓練したT-Tモデルの実験結果から,生成したコードスイッチングテキストを注入する手法により,T-Tモデルの性能が著しく向上することが示された。
  論文  参考訳（メタデータ） (2023-03-20T09:13:27Z)
• ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus [3.1925030748447747]
  本稿では,古典アラビア語テキスト・トゥ・スペーチ(ClArTTS)のための音声コーパスについて述べる。 音声は、LibriVoxオーディオブックから抽出され、処理され、セグメンテーションされ、手動で書き起こされ、注釈付けされる。 最後のClArTTSコーパスは、40100kHzでサンプリングされた1人の男性スピーカーから約12時間の音声を含む。
  論文  参考訳（メタデータ） (2023-02-28T20:18:59Z)
• End-to-End Speech Translation of Arabic to English Broadcast News [2.375764121997739]
  音声翻訳(英: speech translation, ST)とは、ソース言語の音声信号を外国語のテキストに翻訳する作業である。 本稿では,最初のアラビア語から英語への翻訳システムであるブロードキャストニュースの開発に向けた取り組みについて述べる。
  論文  参考訳（メタデータ） (2022-12-11T11:35:46Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Bridging Speech and Textual Pre-trained Models with Unsupervised ASR [70.61449720963235]
  この研究は、音声とテキストによる事前学習モデルを結ぶ、シンプルで効率的な教師なしのパラダイムを提案する。 教師なし自動音声認識(ASR)は、音声自己教師モデルから表現を改善することができることを示す。 特に、音声による質問応答では、挑戦的なNMSQAベンチマークよりも最先端の結果に到達しています。
  論文  参考訳（メタデータ） (2022-11-06T04:50:37Z)
• T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5 [65.32642587901903]
  我々は、異なるトークン化戦略を持つPLMが音声言語理解タスクにどのように影響するかを広範囲に研究する。 我々は、音素化されたテキストを使って事前訓練されたT5の変種であるT5lephoneを作成するためのアイデアを拡張した。
  論文  参考訳（メタデータ） (2022-11-01T17:00:23Z)
• SpeechUT: Bridging Speech and Text with Hidden-Unit for Encoder-Decoder Based Speech-Text Pre-training [106.34112664893622]
  本稿では,音声エンコーダとテキストデコーダの表現を共有単位エンコーダに接続する,統一モーダル音声単位テキスト事前学習モデルであるSpeechUTを提案する。 提案するSpeechUTは,自動音声認識(ASR)と音声翻訳(ST)タスクに基づいて微調整および評価を行う。
  論文  参考訳（メタデータ） (2022-10-07T17:57:45Z)
• ASR-Generated Text for Language Model Pre-training Applied to Speech Tasks [20.83731188652985]
  我々は、フランス国立音響研究所(INA)のコレクションを活用し、多様なテレビ番組の35万時間にASRを適用した後、19GBのテキストを取得する。 新たなモデル(FlauBERT-Oral)がコミュニティと共有され、音声言語理解、テレビ番組の分類、音声構文解析の3つのダウンストリームタスクに対して評価される。
  論文  参考訳（メタデータ） (2022-07-05T08:47:51Z)
• AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation [6.021269454707625]
  アラビア語生成のための新しいベンチマーク(ARGEN)を導入する。 アラビア語固有のテキスト・トゥ・テキスト・トランスフォーマーベースの3つのモデルを事前学習し、2つのベンチマークで評価する。 我々の新しいモデルはmT5よりも大幅に優れており、アラビア語の理解に基づいて現在最先端のアラビア語 BERT ベースのモデルである MARBERT よりも優れている。
  論文  参考訳（メタデータ） (2021-08-31T02:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。