論文の概要: End-to-end Jordanian dialect speech-to-text self-supervised learning framework

• arxiv url: http://arxiv.org/abs/2609.24410v1
• Date: Mon, 21 Sep 2026 11:01:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.258989
• Title: End-to-end Jordanian dialect speech-to-text self-supervised learning framework
• Title（参考訳）: ヨルダン方言の言語-テキスト間自己教師型学習フレームワーク
• Abstract要約: 本稿では、低リソース言語のためのフレームワークを備えたエンドツーエンドのトランスフォーマーベースのモデルを提案する。 さらに、このフレームワークにはカスタマイズされた音声からテキストへの処理アルゴリズムが組み込まれ、ヨルダン方言の音声からテキストへの高効率なシステムを実現する。 提案した自己学習手法は,単語誤り率の低減の観点から,微調整Wav2Vecモデルを5%向上させる。
• 参考スコア（独自算出の注目度）: 0.6372261626436676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech-to-text engines are extremely needed nowadays for different applications, representing an essential enabler in human-robot interaction. Still, some languages suffer from the lack of labeled speech data, especially in the Arabic dialects or any low-resource languages. The need for a self-supervised training process and self-training using noisy training is proven to be one of the up-and-coming feasible solutions. This article proposes an end-to-end, transformers-based model with a framework for low-resource languages. In addition, the framework incorporates customized audio-to-text processing algorithms to achieve a highly efficient Jordanian Arabic dialect speech-to-text system. The proposed framework enables ingesting data from many sources, making the ground truth from external sources possible by speeding up the manual annotation process. The framework allows the training process using noisy student training and self-supervised learning to utilize the unlabeled data in both pre- and post-training stages and incorporate multiple types of data augmentation. The proposed self-training approach outperforms the fine-tuned Wav2Vec model by 5% in terms of word error rate reduction. The outcome of this work provides the research community with a Jordanian-spoken data set along with an end-to-end approach to deal with low-resource languages. This is done by utilizing the power of the pretraining, post-training, and injecting noisy labeled and augmented data with minimal human intervention. It enables the development of new applications in the field of Arabic language speech-to-text area like the question-answering systems and intelligent control systems, and it will add human-like perception and hearing sensors to intelligent robots.
• Abstract（参考訳）: 音声とテキストのエンジンは、近年、異なるアプリケーションに極めて必要であり、人間とロボットの相互作用において必須のイネーブラーである。 しかし、一部の言語は、特にアラビア方言や低リソース言語において、ラベル付き音声データの欠如に悩まされている。 ノイズの多いトレーニングを用いた自己教師付きトレーニングプロセスの必要性は、実現可能なソリューションの1つであることが証明されている。 本稿では、低リソース言語のためのフレームワークを備えたエンドツーエンドのトランスフォーマーベースのモデルを提案する。 さらに、このフレームワークにはカスタマイズされた音声からテキストへの処理アルゴリズムが組み込まれ、ヨルダンのアラビア方言の音声からテキストへの高効率なシステムを実現する。 提案フレームワークは,多数のソースからデータを取り込み,手動のアノテーション処理を高速化することにより,外部からの真理化を可能にする。 このフレームワークは、ノイズの多い学生のトレーニングと自己教師付き学習を用いて、事前訓練段階と後訓練段階の両方でラベル付けされていないデータを活用し、複数の種類のデータ拡張を組み込むことができる。 提案した自己学習手法は,単語誤り率の低減の観点から,微調整Wav2Vecモデルを5%向上させる。 この研究の結果は、研究コミュニティに、低リソース言語を扱うためのエンドツーエンドのアプローチとともに、ヨルダン産のデータセットを提供する。 これは、人間の介入を最小限に抑えたラベル付きおよび拡張されたデータの事前訓練、後訓練、注入の力を利用する。 質問応答システムやインテリジェント制御システムのようなアラビア語音声テキスト領域の分野における新しいアプリケーションの開発を可能にし、インテリジェントロボットに人間のような知覚と聴覚センサーを追加する。

関連論文リスト

• Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection [49.27067541740956]
  音声感情認識(SER)は、人間とコンピュータの自然な相互作用が可能な汎用AIエージェントを開発する上で重要な要素である。 英語や中国語以外の言語でラベル付きデータが不足しているため、堅牢な多言語SERシステムの構築は依然として困難である。 本稿では,低SERリソース言語におけるSERの性能向上のための手法を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:36:45Z)
• Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language augmentation for Low Resource Self-Supervised Speech Models [48.44820587495038]
  自己教師付き表現学習(SSRL)は、音素認識を含むタスクの教師付きモデルよりも優れた性能を示した。 SSRLモデルのトレーニングは、十分な事前学習データが入手できない低リソース言語にとって課題となる。 本稿では,低リソース環境下でのSSRLモデルの事前学習にピッチ変動,雑音付加,アクセント付きターゲット言語,その他の言語音声を用いることを提案し,音素認識の評価を行う。
  論文  参考訳（メタデータ） (2023-09-22T10:09:09Z)
• Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining [2.3513645401551333]
  既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。 この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。 関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-01-18T03:57:53Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Reinforced Iterative Knowledge Distillation for Cross-Lingual Named Entity Recognition [54.92161571089808]
  言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。 既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。 半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2021-06-01T05:46:22Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)
• Bootstrap an end-to-end ASR system by multilingual training, transfer learning, text-to-text mapping and synthetic audio [8.510792628268824]
  限られたデータリソースでの音声認識のブートストラップは、長い間活発な研究領域だった。 本稿では,低資源環境下でRNN-Transducerに基づく音声認識システム(ASR)をブートストラップする様々な手法の有効性について検討する。 実験では,ASR後のテキスト・テキスト・マッピングと合成音声を用いた多言語モデルからの変換学習が付加的な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-11-25T13:11:32Z)
• Multitask Training with Text Data for End-to-End Speech Recognition [45.35605825009208]
  本稿では,注目に基づくエンドツーエンド音声認識モデルに対するマルチタスク学習手法を提案する。 我々は、音声テキストとテキストのみのデータの両方でマルチタスクでトレーニングすることで、リスニング、アテンション、スペルモデルでデコーダを正規化する。
  論文  参考訳（メタデータ） (2020-10-27T14:29:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。