論文の概要: Swiss German Speech to Text system evaluation
- arxiv url: http://arxiv.org/abs/2207.00412v1
- Date: Fri, 1 Jul 2022 13:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-04 17:28:47.283327
- Title: Swiss German Speech to Text system evaluation
- Title（参考訳）: スイスドイツ語音声テキストシステムの評価
- Authors: Yanick Schraner, Christian Scheller, Michel Pl\"uss, Manfred Vogel
- Abstract要約: スイスドイツ語の4種類の音声テキストシステム(STT)について,詳細な評価を行った。
モデルを評価するために、異なるドメインから2つのSTTデータセットを使用する。
両モデルにおいて,両データセットで最高のバイリンガル評価アンダースタディ(BLEU)を得た。
- 参考スコア（独自算出の注目度）: 3.910747992453137
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present an in-depth evaluation of four commercially available
Speech-to-Text (STT) systems for Swiss German. The systems are anonymized and
referred to as system a-d in this report. We compare the four systems to our
STT model, referred to as FHNW from hereon after, and provide details on how we
trained our model. To evaluate the models, we use two STT datasets from
different domains. The Swiss Parliament Corpus (SPC) test set and a private
dataset in the news domain with an even distribution across seven dialect
regions. We provide a detailed error analysis to detect the three systems'
strengths and weaknesses. This analysis is limited by the characteristics of
the two test sets. Our model scored the highest bilingual evaluation understudy
(BLEU) on both datasets. On the SPC test set, we obtain a BLEU score of 0.607,
whereas the best commercial system reaches a BLEU score of 0.509. On our
private test set, we obtain a BLEU score of 0.722 and the best commercial
system a BLEU score of 0.568.
- Abstract（参考訳）: スイスドイツ語の4種類の音声テキストシステム(STT)について詳細な評価を行った。
システムは匿名化され、このレポートではsystem a-d と呼ばれる。
この4つのシステムを、今後FHNWと呼ばれるSTTモデルと比較し、モデルがどのようにトレーニングされたかの詳細を述べる。
モデルを評価するために、異なるドメインから2つのSTTデータセットを使用する。
スイス議会法人(SPC)のテストセットと、ニュースドメイン内のプライベートデータセットは、7つの方言領域に均等に分布している。
3つのシステムの強みと弱みを検出するための詳細なエラー解析を提供する。
この分析は2つのテストセットの特性によって制限される。
両モデルにおいて,両データセットで最高のバイリンガル評価アンダースタディ(BLEU)を得た。
SPC テストセットでは BLEU スコアが 0.607 であるのに対して、最高の商用システムは BLEU スコアが 0.509 である。
個人的なテストセットでは、bleuスコアが0.0722であり、最も優れた商用システムであるbleuスコアが0.568である。
関連論文リスト
- EvalYaks: Instruction Tuning Datasets and LoRA Fine-tuned Models for Automated Scoring of CEFR B2 Speaking Assessment Transcripts [0.0]
EvalYaks と呼ばれるモデル群を開発し,CEFR B2 を英語で評価・評価する。
EvalYaksは平均許容精度96%、変量0.35の精度を達成し、次のベストモデルの3倍の精度で実行された。
論文 参考訳（メタデータ） (2024-08-22T08:57:31Z) - DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。
我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。
DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
論文 参考訳（メタデータ） (2024-06-17T17:42:57Z) - Improving Cascaded Unsupervised Speech Translation with Denoising
Back-translation [70.33052952571884]
我々は,任意のペアデータを活用することなく,カスケード音声翻訳システムを構築することを提案する。
教師なしのシステムをトレーニングし、CoVoST 2 と CVSS で結果を評価するために、完全にペア化されたデータを使用します。
論文 参考訳（メタデータ） (2023-05-12T13:07:51Z) - Unsupervised Data Selection for TTS: Using Arabic Broadcast News as a
Case Study [44.07589545984369]
本稿では、自動データ選択と事前学習/微調整戦略を含む、TS構築のための完全に教師なしの手法を提案する。
我々は,データの選択を慎重に行うことで,TSシステムの効率が向上することを示す。
評価の結果,CERは3.9%,CERは1.3%であった。
論文 参考訳（メタデータ） (2023-01-22T10:41:58Z) - Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22 [4.382973957294345]
本稿では,機械翻訳ワークショップ2022手話翻訳タスクのためにカタルーニャ大学ポリテシカ校で開発されたシステムについて述べる。
本研究では、Fairseqモデリングツールキットで実装されたTransformerモデルを用いる。
我々は,語彙サイズ,データ拡張手法,ENIX-14Tデータセットを用いた事前学習実験を行った。
論文 参考訳（メタデータ） (2022-12-02T12:42:24Z) - FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。
このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
論文 参考訳（メタデータ） (2022-10-01T05:02:04Z) - Overview of the Shared Task on Fake News Detection in Urdu at FIRE 2020 [62.6928395368204]
タスクはバイナリ分類タスクとして設定され、ゴールはリアルニュースとフェイクニュースを区別することである。
トレーニング用に900の注釈付きニュース記事とテスト用に400のニュース記事のデータセットを作成した。
6カ国(インド、中国、エジプト、ドイツ、パキスタン、イギリス)の42チームが登録された。
論文 参考訳（メタデータ） (2022-07-25T03:41:32Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳（メタデータ） (2022-04-10T21:46:52Z) - Localizing Open-Ontology QA Semantic Parsers in a Day Using Machine
Translation [7.104736898689835]
セマンティックローカライザ(Semantic Localizer, SPL)は, 機械翻訳(NMT)システムを利用して, 新しい言語のセマンティックデータセットをローカライズするツールキットである。
提案手法は,公共のWebサイトから抽出したローカルエンティティを機械翻訳して,ターゲット言語で自動的に学習データを生成する手法である。
提案手法は, ホテルで30%以上, レストランで40%以上, テスト言語でローカライズされたレストランで40%以上, 従来の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-10-10T22:03:58Z) - WeChat Neural Machine Translation Systems for WMT20 [61.03013964996131]
本システムは,有効な変種とDTMTアーキテクチャを備えたTransformerをベースとしている。
実験では,データ選択,複数の合成データ生成手法,高度な微調整手法,自己視覚モデルアンサンブルを用いた。
制約のある中国語と英語のシステムでは36.9のケースセンシティブなBLEUスコアが得られます。
論文 参考訳（メタデータ） (2020-10-01T08:15:09Z) - BUT-FIT at SemEval-2020 Task 4: Multilingual commonsense [1.433758865948252]
本稿では,SemEval 2020 Task 4 - Commonsense Validation and ExplanationにおけるBUT-FITチームの作業について述べる。
サブタスクAとBでは、事前訓練された言語表現モデル(ALBERT)とデータ拡張に基づいている。
我々は、多言語モデルと機械翻訳データセットを用いて、別の言語であるチェコ語のタスクを解く実験を行った。
強い機械翻訳システムでは, 精度の低下を少なく抑えながら, 他言語で使用することができることを示す。
論文 参考訳（メタデータ） (2020-08-17T12:45:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。