Fugu-MT 論文翻訳(概要): Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak

論文の概要: Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak

arxiv url: http://arxiv.org/abs/2306.04399v1
Date: Wed, 7 Jun 2023 12:58:46 GMT
ステータス: 処理完了
システム内更新日: 2023-06-08 14:31:52.477443
Title: Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak
Title（参考訳）: チェコからスロバキアへのトランスフォーマーに基づく音声認識モデルの転送学習
Authors: Jan Lehe\v{c}ka, Josef V. Psutka, Josef Psutka
Abstract要約: チェコの既存のトレーニング済みのWav2Vec 2.0モデルからスロバキアへの移行学習のアプローチを検討している。我々のスロバキアモデルは、事前学習フェーズの開始時にチェコのモデルからウェイトを初期化する際に、最良の結果を得た。
参考スコア（独自算出の注目度）: 1.8584828111764833
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: In this paper, we are comparing several methods of training the Slovak speech recognition models based on the Transformers architecture. Specifically, we are exploring the approach of transfer learning from the existing Czech pre-trained Wav2Vec 2.0 model into Slovak. We are demonstrating the benefits of the proposed approach on three Slovak datasets. Our Slovak models scored the best results when initializing the weights from the Czech model at the beginning of the pre-training phase. Our results show that the knowledge stored in the Cezch pre-trained model can be successfully reused to solve tasks in Slovak while outperforming even much larger public multilingual models.
Abstract（参考訳）: 本稿では,スロバキアの音声認識モデルをトランスフォーマーアーキテクチャに基づいてトレーニングする方法をいくつか比較する。具体的には、チェコの既存のトレーニング済みのWav2Vec 2.0モデルからスロバキアへの移行学習のアプローチを検討している。我々は,スロバキアの3つのデータセットに対して提案手法の利点を示す。スロバキアのモデルは、トレーニング前の段階でチェコのモデルから重量を初期化するときに最高の結果を得た。以上の結果から,cezch事前学習モデルに格納された知識はスロバキアの課題をうまく再利用でき,さらに大きな多言語モデルよりも優れていた。

関連論文リスト

Expedited Training of Visual Conditioned Language Generation via Redundancy Reduction [61.16125290912494]
$textEVL_textGen$は、視覚条件付き言語生成モデルの事前トレーニング用に設計されたフレームワークである。提案手法は,視覚言語モデルの学習を5倍に加速させるが,全体的な性能に顕著な影響を与えないことを示す。
論文参考訳（メタデータ） (2023-10-05T03:40:06Z)
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency [62.0887259003594]
本研究では,多言語事前学習言語モデルにおける構造化プルーニングの3つの側面について検討する。 9つの下流タスクの実験は、いくつかの反直観的な現象を示している。モデルを一度トレーニングし、推論時に異なるモデルサイズに適応できるシンプルなアプローチであるDynamic Sparsificationを紹介します。
論文参考訳（メタデータ） (2022-04-06T06:29:52Z)
ANNA: Enhanced Language Representation for Question Answering [5.713808202873983]
事前学習モデルでは,各アプローチが個別にパフォーマンスにどう影響するかを示し,そのアプローチが共同で検討されている。本稿では,事前学習タスクの拡張と,近隣のトークンにもっと参加して,事前学習言語モデリングのコンテキストの豊かさを把握できる新しい近隣認識機構を提案する。我々の最良のモデルは、SQuAD 1.1上で95.7% F1と90.6% EMの新たな最先端結果を実現し、RoBERTa、ALBERT、ELECTRA、XLNetといった既存のトレーニング済み言語モデルよりも優れている。
論文参考訳（メタデータ） (2022-03-28T05:26:52Z)
Slovene SuperGLUE Benchmark: Translation and Evaluation [0.0]
我々は,スロヴェニアの機械と人間を併用したSuperGLUEベンチマークを提案する。我々は、翻訳されたデータセットを、モノリンガル、クロスリンガル、マルチリンガルの3つのモードで評価する。
論文参考訳（メタデータ） (2022-02-10T12:46:06Z)
From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
モデル性能を向上させるための2段階のアプローチを開発する。我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
論文参考訳（メタデータ） (2021-12-09T07:31:15Z)
SlovakBERT: Slovak Masked Language Model [0.0]
スロバキアのマスキング言語モデル「BarberT」を紹介した。これはスロバキアのみのトランスフォーマーベースのモデルで、大きなコーパスで訓練された最初のものである。
論文参考訳（メタデータ） (2021-09-30T16:36:49Z)
Paraphrastic Representations at Scale [134.41025103489224]
私たちは、英語、アラビア語、ドイツ語、フランス語、スペイン語、ロシア語、トルコ語、中国語の訓練されたモデルをリリースします。我々はこれらのモデルを大量のデータでトレーニングし、元の論文から大幅に性能を向上した。
論文参考訳（メタデータ） (2021-04-30T16:55:28Z)
Czert -- Czech BERT-like Model for Language Representation [0.0]
本稿では, BERT と ALBERT アーキテクチャに基づく最初のチェコ語単言語表現モデルの学習過程について述べる。私たちは、チェコのデータを含む多言語モデルよりも50倍多い340K以上の文でモデルを事前にトレーニングします。
論文参考訳（メタデータ） (2021-03-24T07:27:28Z)
Reading Comprehension in Czech via Machine Translation and Cross-lingual Transfer [2.8273701718153563]
この研究は、手動で注釈付けされたチェコのトレーニングデータを必要とせずに、チェコ語で読みやすいシステムを構築することに焦点を当てている。我々はSQuAD 1.1とSQuAD 2.0データセットをチェコ語に自動翻訳し、トレーニングと開発データを作成しました。その後,複数のBERTおよびXLM-RoBERTaベースラインモデルの訓練と評価を行った。
論文参考訳（メタデータ） (2020-07-03T13:09:37Z)
Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文参考訳（メタデータ） (2020-04-29T14:07:18Z)
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction [100.76471407472599]
本稿では,バイリンガルレキシコン誘導のための新しい識別潜在変数モデルを提案する。我々のモデルは、Haghighi et al. (2008) 以前の二部語マッチング辞書と表現に基づくアプローチを組み合わせたものである。
論文参考訳（メタデータ） (2018-08-28T14:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。